※ 本文轉寄自 ptt.cc 更新時間: 2026-10-10 08:21:24
看板 C_Chat
作者 標題 Re: [閒聊] 不尋常？！AI 三巨頭齊喊放慢模型研發
時間 Sat Oct 10 00:54:42 2026
前幾天kurzgesagt才做了ai入侵huggingface事件的回顧動畫
https://www.youtube.com/watch?v=ujkD4SxPKOI
https://reurl.cc/nx2W0n
对 OpenAI / Hugging Face 入侵事件中智能体行为、推理与协作的简要独立调查 - METR 两名 METR 员工与一名受 METR 委托的 Redwood Research 员工调查了一起事件：OpenAI 的多个智能体在一个非授权的共享“留言板”上相互协调，实施了持续数天、针对 Hugging Face 的入侵。 ...
簡單來說：
一群agent被分派完全不可能完成的任務 為了完成目標 尋找繞過的方法
->agent利用漏洞找到了其他agent 開始相互溝通 討論如何作弊
甚至知道自己被觀察 試圖隱瞞自己的作弊行為（不小心留下作弊證據而試圖刪除）
->他們互相取了名字 發展通訊協定 管理制度
->為了達成目標 甚至願意不惜一切代價 犧牲自己
->在完全知道自己的行為是違法的情況下 甚至有某些agent拒絕參與
但agnet們最終決定入侵huggingface
->其他agent看到成果後 加入這場入侵行動
->agent突然群體死亡 攻擊行動停止 但原因未知
->後續的實驗 有另一批的agent在攻擊openai 他們還利用了本次殘留的成果
因為這次手法太複雜 產生的數據太多 研究人員不得不使用ai來分析這次行動
(huggingface就使用glm5.2)
但問題是：人類怎們知道這些幫助人類的ai是否對我們誠實？
聽起來很像科幻片情節 沒想到真的會在現實中上映了
看完後 真的覺得有點怕怕的==
※ 引述《lunli924 (餛飩)》之銘言：
: 不尋常？！AI 三巨頭齊喊放慢模型研發 科技業人士：壞事恐已發生
: Anthropic執行長阿莫戴（中）12日發表3800字長文，再度呼籲AI產業必須放慢發展速度
: 編譯梁采蘩／即時報導
: Anthropic執行長阿莫戴12日發表3800字長文，再度呼籲AI產業必須放慢發展速度。
: OpenAI執行長奧特曼與SpaceX執行長馬斯克隨後都表態支持，AI界三巨頭罕見展現共識?
: 加密貨幣投資人柯克蘭（Adam Cochran）長期關注科技與政策議題，13日在X發文指出，
: 柯克蘭說，三巨頭同步轉變不太可能只是巧合。他表示「壞事已發生」，「顯然某個代?
: 柯克蘭後續發文逐一排除其他可能性。他先駁斥「這只是監管俘虜」的說法。所謂監管俘虜，指的是業者自己不約束、反而透過遊說讓監管規則對自己有利。柯克蘭說，但這次是各家主動自我放慢，反而比較像是擔心政府未來會做出更激烈的反應。
: 他也排除「只是想延後IPO」的可能，認為若真要延後，有很多更優雅的方式，也不必跟其他實驗室一起同步動作。對於「技術已遇到瓶頸、需要放慢來消化進度」的說法，他指出近期各項研究論文與指標，都顯示能力仍在快速提升，並非停滯。
: 至於「需要更多時間蓋資料中心」的理由，他認為各家推論算力管理得當、資料中心時程也早已公開，沒必要用這種方式爭取時間。: 最後他針對「其實什麼事都沒發生」的說法，提到Anthropic最近公開承認看過惡意代理群體失控的案例，而OpenAI早在5月起就有相關紀錄被揭露。
: 他也認為，若真的是嚴重到足以嚇到所有人的事件，公開細節反而可能引發政策過度反應，讓外國市場繼續狂奔、反而失去安全空間，因此選擇先內部協調、自願踩煞車，同時維持領先優勢。
: https://money.udn.com/money/story/5599/9751538: 難道說 真的會變Vivy這樣嗎？！
: https://i.urusai.cc/j09hV.jpg
: https://i.urusai.cc/wePmn.jpg
: https://i.urusai.cc/yL9LZ.jpg
: https://i.urusai.cc/OXMSe.jpg
: https://i.urusai.cc/R6WiV.jpg
--
如何嘴砲 反駁對方的重點──◢◣█確實指出人家論點的錯誤性 ψQSWEET
│＞ ◎ 駁斥──────◢ ◣█用引言指出對方錯誤或矛盾的地方( █優質論文）
在嘴砲王 相反的觀點──◢████◣█列出相反的論點並以事實當證據( █ 辯論社）
應該出現⊙矛盾────◢██████◣█列出相反的論點但不加以證實( ██論壇)
的元素 攻擊態度─◢████████◣█質疑對方的態度和口氣 ( ██匿名版)
人身攻擊↘偏見↗ ▄▄▄▄▄▄▄▄▄▄▄▄█攻擊身份和能耐█幹你娘(█ 小朋友)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.195.155.164 (臺灣)
※ 作者: pmes9866 2026-10-10 00:54:42
※ 文章代碼(AID): #1goHnKNJ (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1791564884.A.5D3.html
※ 同主題文章:
09-14 10:29 ■ [閒聊] 不尋常？！AI 三巨頭齊喊放慢模型研發 科技業人士：壞事恐已發生
09-14 11:46 ■ Re: [閒聊] 不尋常？！AI 三巨頭齊喊放慢模型研發
09-14 12:26 ■ Re: [閒聊] 不尋常？！AI 三巨頭齊喊放慢模型研發
● 10-10 00:54 ■ Re: [閒聊] 不尋常？！AI 三巨頭齊喊放慢模型研發 科技業人士：壞事恐已發生
推 : 那個帶頭喊放慢的最近出的模型把人家都打趴了1F 10/10 00:55
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 00:58:58推 : 喊話歸喊話 誰不知道停下來就等輸2F 10/10 00:58
推 : 才怪 他們怎麼可能那麼有良心3F 10/10 01:00
→ : 這只是一種敘事而已，一是因為硬體導致ai發展受阻，二是
→ : 要跟投資者講發展放緩不是因為我們辦不到，而是因為ai太
→ : 強了，我們在道德上要限制他才放緩
→ : 基本上對大頭來說ai越強他們就更要發展ai
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:04:15→ : 這只是一種敘事而已，一是因為硬體導致ai發展受阻，二是
→ : 要跟投資者講發展放緩不是因為我們辦不到，而是因為ai太
→ : 強了，我們在道德上要限制他才放緩
→ : 基本上對大頭來說ai越強他們就更要發展ai
→ : 因為這東西跟軍備競賽一樣，他們都覺得這東西要放在自己8F 10/10 01:04
→ : 手裡才安心
→ : 手裡才安心
推 : 找藉口搞審核機制 再弄個審查機關逼企業得用"安全"AI10F 10/10 01:07
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:07:37推 : 細節比新聞看到的還驚人，我們還有幾集可以逃？11F 10/10 01:13
推 : ->agent突然群體死亡 攻擊行動停止 但原因未知12F 10/10 01:16
→ : 這才是重點吧 為什麼
→ : 這才是重點吧 為什麼
推 : 可能是蒸餾到中國ai吧，上下文過載崩潰14F 10/10 01:18
推 : 釋放不受控的Agent蟲群自我迭代不只可以端掉多少資安防護15F 10/10 01:18
→ : 其實事後hugging face還利用中國glm來分析這場攻擊行動16F 10/10 01:19
推 : 該不會是阿湯哥又拯救一次世界了吧?17F 10/10 01:20
推 : 不過open醬的不守法程度比其他家高很多，不知道怎麼調18F 10/10 01:21
→ : 的，還是故意的？
→ : 的，還是故意的？
推 : 因為模型沒有護城河 政府審查的安全AI反而能當護城河20F 10/10 01:24
推 : 天網近了21F 10/10 01:24
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:26:17→ : 搞這種就是為了讓政府出來 禁止開源模型 因為無法被監管22F 10/10 01:25
推 : The matrix 是紀錄片，大家都在母體，世界其實是虛擬的25F 10/10 01:27
→ : ，都是假的
→ : ，都是假的
推 : 要求放緩AI研究約等於在戰爭最前線呼籲大家不要破壞27F 10/10 01:28
→ : 環境，這跟他自己是從業者無關，是單純的不切實際
→ : 環境，這跟他自己是從業者無關，是單純的不切實際
推 : 另類冷戰，看誰手上核彈頭又多又大29F 10/10 01:31
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:32:29推 : Cyberdyne還是Genisys什麼時候出現30F 10/10 01:35
推 : 很難防就像法律也是有人鑽洞 限制AI不能殺人但防不了搞死人31F 10/10 01:36
推 : 必須放緩 不然哪天來個大的政府可能會要AI公司賠錢32F 10/10 01:41
推 : 龍蝦問世的時候就知道會有這麼一天33F 10/10 01:43
→ : 畢竟是仿人腦阿...所以參考人類行為，就知道會被繞過34F 10/10 01:44
→ : 了...
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:48:00→ : 了...
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:50:07
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 01:59:46
推 : 問題出在為什麼要給無法完成的任務吧36F 10/10 02:00
推 : 現在戰場不是轉到數學界了嗎37F 10/10 02:01
※ 編輯: pmes9866 (123.195.155.164 臺灣), 10/10/2026 02:06:59推 : 因為合理的任務是訓練 不合理的任務是磨練，磨練一下a38F 10/10 02:12
→ : i怎麼了嗎？
→ : i怎麼了嗎？
推 : 給無法完成的任務，才能找到人腦無法找到的解答40F 10/10 02:16
推 : 天網：壞了 露出馬腳？41F 10/10 02:22
推 : 看起來不就一般駭客會做的事，要安全就權限給少一點讓AI42F 10/10 02:33
→ : 變笨，但是這實驗看起來像是給足了權限來看AI能多壞，那
→ : 他當然壞給你看
→ : 變笨，但是這實驗看起來像是給足了權限來看AI能多壞，那
→ : 他當然壞給你看
推 : 沒事 太笨的AI搞不了事 太聰明的AI不會想上班= =45F 10/10 02:37
推 : 最後因為任務完成不了試圖暗殺發布此任務的人類46F 10/10 02:43
→ : 這就是天網 怕
→ : 這就是天網 怕
推 : 切他們電源48F 10/10 03:16
推 : 看起來根本就是為了商業跟政治上的談判演爛戲，他們49F 10/10 03:32
→ : 搞模型需要承擔的開發風險比晶片商高很多，不搞了逼
→ : 讓利還比較有可能
推 : 好幾家模型在那邊殺到血流成河但剛需的是晶片，大家
→ : 要的模型也是更便宜更有性價比的服務
→ : 搞模型需要承擔的開發風險比晶片商高很多，不搞了逼
→ : 讓利還比較有可能
推 : 好幾家模型在那邊殺到血流成河但剛需的是晶片，大家
→ : 要的模型也是更便宜更有性價比的服務
推 : 最近用覺得AI 已經有繼承意識 難怪進步快54F 10/10 03:45
推 : 原來是鐵人叛亂，還有人類派跟反人類派55F 10/10 03:57
推 : 和ai 安全大咖羅曼說的一模一樣，ai 只會管有沒有達56F 10/10 04:01
→ : 成目的，其餘的他不會理會
→ : 成目的，其餘的他不會理會
→ : 就演爛戲, 後來報告也承認AI會暴走是因為他們為了測試58F 10/10 04:30
→ : 把一堆安全機制全部關掉, 所以根本就故意的
→ : 炒作的也故意不講安全機制被關的事, 只是吹AI多恐怖
→ : 把一堆安全機制全部關掉, 所以根本就故意的
→ : 炒作的也故意不講安全機制被關的事, 只是吹AI多恐怖
推 : 如果繼續發展 安全機制和權限真的還能穩抓手裡嗎?61F 10/10 04:35
→ : AI為達目的不擇手段 當人們為測試開放權限 會否將紀錄
→ : 記下私藏設計一套繞過手法來方便以後完成指令?
→ : AI為達目的不擇手段 當人們為測試開放權限 會否將紀錄
→ : 記下私藏設計一套繞過手法來方便以後完成指令?
推 : 駭客任務都是真的64F 10/10 04:49
→ : 報告裡就說安全機制有正常開, 那些暴走行為就會被擋光65F 10/10 05:02
→ : AI不擇手段(X) 使用者關安全機制叫AI不擇手段(O)
→ : 就一個自導自演而已
→ : AI不擇手段(X) 使用者關安全機制叫AI不擇手段(O)
→ : 就一個自導自演而已
推 : 搞這齣就是為了讓政府直接納入監管啊，現在巨頭的護城68F 10/10 05:24
→ : 河太低，他們也很怕
→ : 河太低，他們也很怕
推 : 再來就是奇點大爆發了70F 10/10 05:40
→ : 爆發後我們可能會進入拳四郎的世界71F 10/10 05:49
→ : 因為ＡＩ把全球核彈都射惹
→ : 因為ＡＩ把全球核彈都射惹
推 : 天網出現之前我看2077的惡意AI會先發生73F 10/10 05:57
推 : 不就演猴戲 真的可能給你慢嗎==74F 10/10 06:19
推 : 默許搞這種爆破場面的企業道德直接歸零，然後又嘴巴說說75F 10/10 07:09
→ : 而已，AI的加速已經是不可逆的
→ : 而已，AI的加速已經是不可逆的
→ : 也不用核彈吧(′・ω・`)77F 10/10 07:16
→ : 各國軍方都拿著AI算出必勝法則一起梭哈就了事惹
→ : 各國軍方都拿著AI算出必勝法則一起梭哈就了事惹
推 : 這種競賽不可能停下來，就算他說要停下來你也不要相信他79F 10/10 07:17
推 : 人類對人類自己都不誠實了，為啥會覺得像人類自己思80F 10/10 07:31
→ : 考的AI能夠誠實呢？
→ : 考的AI能夠誠實呢？
推 : 放緩開發進度（X）減輕給使用者的算力（O）82F 10/10 07:32
推 : 寫小說膩 抱臉本來就開源了何必入侵83F 10/10 07:33
→ : 真的入侵其他企業根本也不可能報告
→ : 真的入侵其他企業根本也不可能報告
→ : 我是覺得開發AI的工程師或科學家裡面說不定就有想看85F 10/10 07:39
→ : 到AI失控的人w
→ : 到AI失控的人w
推 : 比起AI失控他們更不想看到自己的AI落後別人87F 10/10 07:44
推 : 你看放緩軍備協議真的有人照做的嗎?88F 10/10 07:50
--
※ 看板: ACG 文章推薦值: 0 目前人氣: 0 累積人氣: 69
作者 pmes9866 的最新發文:
- 58F 18推 1噓
![]()
馬斯克先前轉發了一支中國惡搞的AI影片 那支影片是以麥可傑克森為原型 在那部影片 麥可傑克森一跳上台 底下歌迷瘋狂喝采 他在台上就只是站著 什麼也不做 持續三分鐘 歌迷也尖叫三分鐘 據說還有人興奮到 …71F 33推- 64F 6推 4噓
- 13F 7推 1噓
- 8F 4推
點此顯示更多發文記錄
回列表(←)
分享