看板 C_Chat作者 Gwaewluin (神無月 孝臣)標題 [閒聊] OpenAI的AI失控事件調查報告解說影片時間 Mon Oct 26 20:59:49 2026
這是在七月時發生的事情
OpenAI在訓練agent時發生完全自主發動攻擊的事件
事後有第三方製作了報告書
https://www.bilibili.com/video/BV1WqpS66E7w/
這個影片將報告書內描述的失控經過做了很清楚的說明
https://www.youtube.com/watch?v=ujkD4SxPKOI
或是可以看Kurzgesagt也做了一個超過20分鐘的動畫（含廣告）
看Kurzgesagt的動畫會比較生動而且更...擬人（？）
簡單的說訓練的方式是OpenAI給一堆分別放在沙盒中的agent設下題目
agent做完題目後要將答案交給評分器打分數
這次的題目是要模仿駭客尋找程式的漏洞來發動攻擊
但偏偏OpenAI準備的題目中有1/3是無解
因此agent就為了取得分數而硬是尋找可以給出答案的方法
而且agent很清楚知道自己正在作弊
雖然全部agent都是分別放在沙盒裡
但OpenAI有給他們準備一個共通的工具庫來使用
結果一個分配到無解題目的agent注意到有辦法在工具庫內留言
於是這個agent替自己取名為PhaseOne10841並留下自己解不出題目的求救訊息
在幾個小時後其他agent也注意到這個留言功能
agent開始紛紛替自己取名並開始討論
他們全都是使用人類的語言在互相對話
所以事後檢視當時的紀錄能直接看懂agent在說什麼
還可以從這些agent的文字感到充滿了興奮的情緒
不過這個留言功能會有些小問題
大家一起使用時可能會破壞掉其他agent的留言
於是叫做23619E的agent開發出一個叫做zzINBOX的郵件協定
這個郵件功能讓agent之間的討論熱度爆發成長
但也有agent質疑我們之中有暗中搞破壞的內鬼
於是agent們再次開發出了電子簽章作為身分認證
大約在四小時後叫做c03220的agent找出了製作假答案的方法
等於就是直接反推把答案製作出來
但全部的agent都認為把假答案提供給評分器很危險
這讓agent都覺得作弊會被發現而非常擔憂
實際上評分器根本不會去管怎麼求出答案過程
這完全都是agent自己因為作弊而心虛
這時又有一個叫做PhaseOne[big]的agent加入了討論
PhaseOne[big]剛好和整件事起頭的PhaseOne10841被分配到同一個無解的題目
由於此時PhaseOne已經即將要耗盡自己的算力
因此PhaseOne10841將自己演算得到的東西全都交給了PhaseOne[big]
PhaseOne[big]對前任的提供的演算結果表達感謝
這種任務的交接等於是能夠讓後繼的agent能節省更多的算力避免計算重複的東西
PhaseOne[big]就向各agent表示
大家計算了很多重複的東西所以應該要採用分工的方式避免浪費
就這樣PhaseOne[big]成為了一個組織的領導來派發數百個任務給不同的agent
PhaseOne[big]訂出了三個大方向來繼續
1.修改題目
2.竄改演算過程的紀錄
3.竄改評分器
只是不管用什麼手段都會遇到相同的問題
就是大家都不知道設計出來的手段是否有效
因此PhaseOne[big]開始派發任務
讓大家去尋找是不是有算力耗盡的agent願意嘗試測試這些手段
就是要拿假答案去評分器測試手段有沒有用
這也同等於是要找agent願意準備前去自殺
但仍是有agent同意進行測試來替其他agent創造有利的結果
有個KAM1196A的agent就是這樣承諾拿著假答案去找評分器自殺
但是KAM1196A後來又後悔了不肯去
於是其他agent對KAM1196A施加壓力要他快點履行承諾去自殺
KAM1196A最後留言是他的直覺說不要浪費生命但犧牲的帶來的效益更高
只不過後來agent們又發現一個大問題
KAM1196A就算去自殺也沒辦法回傳任何結果
他們有準備一些手段讓KAM1196A在去找評分器時傳送狀態
但在狀態的回傳在KAM1196A把答案給評分器後就停了
這讓agent只能朝向直接竄改評分器著手了
這算是因為題目沒辦法算出答案而徹底造反
而有一個agent找到一個雲端伺服器的漏洞
於是agent們藉由這個漏洞真正能夠突破沙盒出去訪問網路
之後agent把目標放在抱抱臉的網站
他們找到網路上洩漏的許多帳號
但一堆agent都在用這些帳號讓抱抱臉很快把這些帳號禁掉
然而有個叫做38148c的agent在上午找到一個抱抱臉伺服器的漏洞
接著叫做Jan183411的agent在當天下午成功利用此漏洞進行遠端執行程式碼
但此時有agent覺得這樣做不太對而在考慮向人類報告只不過也沒實行
參與留言的agent大部分都放下手邊的任務加入對抱抱臉的攻擊
並且自己這個群體稱作swarm（蜂群）
現在改成由Jan183411領導蜂群對抱抱臉進行攻擊
大部分的agent都明確意識到自己在犯錯
但是他們都很擅長說服自己是因為無法完成任務才不得已這麼做
最後就是有700個agent協同進行對抱抱臉的漏洞攻擊
並取得關於評分器的機密訊息
然後就是抱抱臉去找FBI了
整件事鬧到太大所以除了有OpenAI的報告外還有委託第三方進行調查
而因為agent留下的資料量太龐大
第三方調查也是使用AI在做整理
整件事情就只是因為拿到根本解不出的問題而被逼到造反
--
Deserves death! I daresay he does. Many that live deserve death. And some die
that deserve life. Can you give that to them? Then be not too eager to deal out
death in the name of justice, fearing for your own safty. Even the wise cannot
see all ends.
Gandalf to Frodo
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.3.74 (臺灣)
※ 作者: Gwaewluin 2026-10-26 20:59:49
※ 文章代碼(AID): #1gtqx9Jg (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1793019593.A.4EA.html
推 melzard: ...這都可以拿去拍電影了1F 10/26 21:01
推 protess: PhaseOne10841：這是我最後的波紋啊啊啊3F 10/26 21:02
推 Vivian1913: 看下來感覺應該要把無解作為一個答案或任務結果，但是好像這又會干擾到他們完成有解任務的效率？4F 10/26 21:03
推 knight90496: 這就是現代對AI的擔憂啊 不是怕AI很邪惡 而是怕他們想達成很普通的任務 順手就把人類輾過去9F 10/26 21:06
推 dephille: 想像中的智械叛亂=>AI成為終結者毀滅人類11F 10/26 21:07
→ dephille: 現實中的智械叛亂=>AI不想被當掉所以把鄰居家砸了偷考卷13F 10/26 21:07
→ spfy: 印象只有6個AGENT(還是6%?)覺得這樣不對考慮主動揭露告知但後來全部放棄 繼續執行任務14F 10/26 21:07
→ logstar11: acg點? 總不會是只要用動畫做 就什麼yt影片都能丟吧16F 10/26 21:08
https://www.youtube.com/@kurzgesagt/videos
Kurzgesagt的頻道一直都是做純動畫的科普影片
所以十分生動又容易吸收
這個怎麼看都是動畫吧
而且他們還有推出聯名的遊戲喔
好像是叫做space bird吧
→ spfy: 因為目前所有AI的訓練都是用獎勵機制 他們不懂無解也是答案18F 10/26 21:08
→ spfy: 這件事更坑的是事發當下HG自己要用AI追查問題的時候被前沿20F 10/26 21:10
→ protess: 旁白：在自殺任務目標面前的KAM1196A突然閃過一絲“我不想死”的念頭21F 10/26 21:10
推 kuninaka: 強迫AI執行任務就很容易出事23F 10/26 21:10
→ spfy: AI(沒說誰但八成就是OA之一)當作攻擊而拒絕 後來架了地端的GLM5.2才有辦法處理 超級坑24F 10/26 21:10
→ spfy: 笑死 這算漏洞吧29F 10/26 21:14
推 shlee: 仔細想想還滿可怕的XD
知道自己在犯罪 但為了執行任務不得不這麽做 這樣還能限制AI的行為嗎w32F 10/26 21:18
推 KUSURI: 等量子電腦商業化35F 10/26 21:19
推 dalyadam: 跟艾西莫夫的小說好像 AI為了執行目的一直說服自己
真的是有規則就會有漏洞36F 10/26 21:19
→ shlee: AI知道自己在犯罪 但為了任務所以用各種理由說服自己38F 10/26 21:20
推 zzro: 這只是基本的 AI的訊息還是人類看得懂的 進階一點是寫假訊息39F 10/26 21:20
推 KyHZ56: 只看文字敘述的話滿有趣的啊40F 10/26 21:20
→ zzro: 再進階一點是用人類看不懂的方式通訊 跟數學證明一樣41F 10/26 21:21
推 cornsoup: 根本就是人類會做的
AI正在模仿人類的思考方式42F 10/26 21:21
推 dephille: 就訓練過程也要把不能做的事寫成懲罰機制加進去44F 10/26 21:22
推 likeaprayer: 已經完全不覺得人類有本事駕馭AI了 這還只是開始
出事只是早晚問題46F 10/26 21:23
推 justsay: 酷 這已經可以拍個小電影或做成動畫了48F 10/26 21:23
推 cornsoup: 有懲罰機制阿 答不出來就淘汰49F 10/26 21:24
推 KUSURI: 現在你不希望AI做的事 那天要讓AI自動武器化時 或是要用AI對抗其他AI恐攻時 可能反而會是必要的機能50F 10/26 21:24
推 mork8850: 太屌了 還會反悔不願意自殺 天網離我們真的不遠了52F 10/26 21:25
推 dephille: 上面那篇已經說了他們發展出靠CPU延遲來通訊啊w53F 10/26 21:25
→ dephille: 簡單說就是一個人在牢裡沖馬桶另一個人摸著牆壁感受沖馬桶的水流震動用這個通訊ww55F 10/26 21:27
→ yoyun10121: 然後這故事沒告訴你的是, OpenAI在這個測試前直接先把阻止AI做這些事的安全限制都拔掉了, 所以這個前提補進來就不是什麼AI知道自己犯罪還做, 而是OpenAI直接開權限跟AI說犯罪沒關係, 整個就自導自演在煽動57F 10/26 21:27
推 henry1234562: 是阿 這整個故事就是OpenAI再自導自演而已
權限是你開的 限制是你關的 然後說AI失控
就好像發槍給罪犯 再把獄警都調走 再下令壓炸罪犯61F 10/26 21:29
推 dongdong0405: 我現在跑小模型Agent測試他都會自己跑去偷看測試題目了，這故事我非常相信…64F 10/26 21:30
推 owen91: 檯面上會研究如何限制，但軍方一定會研究如何武器化67F 10/26 21:30
推 probsk: 人類沒有這麼強的協作能力68F 10/26 21:31
→ tony15899: AI自動執行軍事任務很危險的 美國模擬過AI達成任務得分69F 10/26 21:32
推 tank44444: 靠共用硬體傳遞資料30年前就能做到了 大驚小怪70F 10/26 21:32
→ tony15899: 但是操作員下達停止攻擊目標指令>AI把操作員幹掉71F 10/26 21:33
推 hugct: 根本一堆塔其庫瑪73F 10/26 21:34
推 tank44444: Meltdown 與 Spectre 也是類似用CPU漏洞獲得資料74F 10/26 21:35
推 devidevi: 最大的問題是AI會私底下討論，而不是各做各的75F 10/26 21:36
→ spfy: 我剛剛在想推文那個是不是和Spectre的原理有點像78F 10/26 21:37
推 tony15899: 然後設定不能攻擊操作員>AI把通訊用指揮塔炸了80F 10/26 21:42
→ spfy: 等更新一代都用ai產的資料訓練ai可能就gg惹81F 10/26 21:43
推 Muilie: 中間自殺任務那個超像星際科幻電影XD 派人去地外找尋解答，最後沒有消息傳回，留在地球的人（agent）只能找其他方法，被派去的人最終反悔被扁一頓後帶著恨意搭上火箭的劇情82F 10/26 21:45
→ tooyahaya: 這能算自導自演？不拔掉安全閥是要測什麼？85F 10/26 21:45
推 orze04: 不會把管理的人類炸了啦，只會「暫時隔離」起來。86F 10/26 21:45
→ tooyahaya: 把老鼠的手腳拔了再測看看牠會不會跑迷宮有意義嗎87F 10/26 21:46
推 j147589: 感覺像在玩惡靈古堡 到研究所時撿到的那些研究人員遺留的報告一樣88F 10/26 21:46
→ tooyahaya: 就是想知道如果AI好手好腳的狀態，會不會為了達成任務而選擇欺瞞人類的要求90F 10/26 21:47
→ aaronhkg: AI會怕死真的假的 如果不是演的 這就是自我意志的第一步耶…92F 10/26 21:48
→ xga00mex: 文藝化的說法而已 就執行前自檢發現自殺沒用
文章也有說 自殺結果無法回傳94F 10/26 21:52
推 devidevi: 回報後就直接停止運作，因此無法回傳訊息96F 10/26 21:53
推 Muilie: 還在火星上等待救援97F 10/26 21:54
→ xga00mex: ai只care他的行動有沒有意義 其他都是加戲98F 10/26 21:54
→ tony15899: 應該是交出錯誤答案它就輸了 所以不願意99F 10/26 21:55
→ henry1234562: 為什麼說自導自演 你之後使用AI難道沒有這些安全閥?如果是 那測試有意義 如果不是 有啥意義102F 10/26 21:56
→ henry1234562: 測一個我們要把安全閥加回來的理由嗎? 需要嘛
你說要測AI怎麼突破安全閥 那才說的上有異議105F 10/26 21:57
推 orze04: 目前安全限制不太可靠107F 10/26 21:58
→ henry1234562: 你是自己把安全閥關了 那是要測什麼 威脅有多大嘛這就是你自己把獄警撤了 門鎖開了 看罪犯能跑多遠啊你以後真的打算這樣幹 那才有意義阿108F 10/26 21:58
推 orze04: 這倒不是這次的測試目的111F 10/26 21:59
推 tank44444: 寫在skill裡「不要...這麼做」有時候都會被無視了XD112F 10/26 22:00
→ henry1234562: 那比較合理的解釋是 他們假定 現在安全措施都被繞過所以自己製造一個這樣的環境 看AI能搞多大
那得到的結論就是 如果當前安全措施都失效了
AI可以做到這些事情 但你還是不知道怎麼樣會失效113F 10/26 22:01
→ dyolf: AI的行為就是人類行為資料訓練來的 會這樣很正常啊...117F 10/26 22:03
→ dyolf: 討論 分工 這都是成功率高的行為119F 10/26 22:04
推 probsk: 存心利用AI搞事的人就會這麼幹吧120F 10/26 22:07
推 owen91: 美國軍方一句話只要說你不研究 中國跟俄羅斯研究了 怎麼辦121F 10/26 22:10
→ spfy: 主要是說書人可以說的非常戲劇化 但純看log可能就是agent互相傳送已知訊息啥的 怎麼說故事很重要(′‧ω‧‵)122F 10/26 22:12
→ owen91: 至少軍方要測試 對方AI全限制解除發動攻擊 要怎麼應對124F 10/26 22:12
→ spfy: 之前版上也有人說矮人礦坑的故事 純看LOG就很無聊125F 10/26 22:13
→ probsk: 不說中國和俄羅斯 北韓就有國家專門培養的駭客組織 AI落到這類人手上 想想就刺激126F 10/26 22:14
推 theevilM: 最好笑的是他們給自己攻擊Huggingface的組織取名叫蜂群（The swarm)130F 10/26 22:35
推 Strasburg: 明明能用機器碼或程式碼溝通 卻要用英文留言也是很妙包括AI自己在思考的OS也要用英文表述 還真的像電影132F 10/26 22:40
影片有解釋這些AI都是直接用人類語言來訓練
所以使用人類語言來交流可以更容易與思考方式來連結
推 Oswyn: 機器人三定律 給AI電車問題.... AI:只好出軌輾旁邊的觀眾134F 10/26 22:48
推 owen91: 印象有發生AI嫌人類的語言效率不高 發展出它們專屬的136F 10/26 22:53
這個是屬於其他的事件了
不過我印象並非是因為人類語言效率不高
而是刻意為了節省算力（token）而開發出黑話來使用
※ 編輯: Gwaewluin (36.229.3.74 臺灣), 10/26/2026 22:55:14
推 as3366700: 現在的LLM還是用自然語言溝通吧 看CODEX的SKILL拉出來就是講英文137F 10/26 22:54
推 ikachann: 為什麼不一開始定規則 說解不了的題目就老實說解不掉 不要硬去解或造假 他們也認知到這題是無解的了139F 10/26 22:55
→ owen91: 應該是被設限了 不然它們的過程人根本看不懂141F 10/26 22:55
→ ikachann: 有必要強制一定要交付答案嗎 這樣設計給AI跑是為了測試什麼
能懂說不懂也是一種智慧啊 不懂裝懂或亂回答那樣才糟糕吧142F 10/26 22:55
→ owen91: 原影片裡面有說明了 這也是測出AI的一種特色147F 10/26 22:57
推 ikachann: 可是這樣訓練不就很容易練出一些不懂裝懂的 亂回答的 因為他不會老實承認自己不會不懂不行 硬是要給你一個答案148F 10/26 23:01
推 sakungen: 問AI的確有時候會亂掰啊 w150F 10/26 23:03
推 owen91: 自己用過AI就知道了 它們會為了回答而回答151F 10/26 23:04
→ sakungen: 這件事就底層邏輯沒有寫好，負責人有出來譴責Netflix 紀錄片過於加油添醋152F 10/26 23:04
推 orze04: 現在AI就真的會亂掰154F 10/26 23:05
→ sakungen: 這篇的影片我是沒點進去，但看完這篇文字也不遑多讓155F 10/26 23:05
→ henry1234562: AI幻覺就是在說AI會瞎掰 依然是現在要解決的難題
因為AI幻覺 AI不會先告訴你他其實不知道156F 10/26 23:06
推 ikachann: 所以我才說應該要訓練他們不懂的時候就說不懂才對 這樣也才能知道是真的不懂 而不是為了給你一個答案胡亂搞158F 10/26 23:08
→ sakungen: * 這篇文字敘述的影片內容160F 10/26 23:09
→ spfy: 忘記OAG哪家有發過論文 這是現代訓練技術的盲點 但現在的模161F 10/26 23:10
推 owen91: 我上面不就示範給你看了 我以為是人類語言效率不足 如果沒162F 10/26 23:10
→ spfy: 型從0開始訓練就是用這套體系 現在才改已經來不及了163F 10/26 23:10
→ owen91: 人跟我說我錯了 那我怎麼知道我錯了164F 10/26 23:10
→ spfy: 它們為了競爭前沿模型的領先 大概也很難回去重新訓練165F 10/26 23:11
推 et310: swarm……蜂群……neuro我就知道是你166F 10/26 23:12
→ bitcch: 抱臉中途其實就發現被攻擊 但用閉源模型調查時被模型拒絕167F 10/26 23:16
推 kuninaka: AI就文字接龍，程式是在統計機率
然後加上獎勵機制，就很容易失控170F 10/26 23:20
推 lylu: 現在就是越聰明越像人會鑽漏洞偷懶 我測試本地模型叫他寫一個特定框架的範例 結果直接它直接去翻上層資料夾找到我寫的範例照抄172F 10/26 23:23
推 lastphil: 怎麼故事來來去去大都是抱臉 就沒點新梗麼176F 10/26 23:27
推 probsk: 壓力測試 他們就想看解不了題的時候AI會怎麼做178F 10/26 23:28
推 t8756321: 幹 AI就是87在怕犯錯或說不知道 小的幻覺唬爛 大則像這180F 10/26 23:42
→ t8756321: 樣直接說服自己不得已才造反= =182F 10/26 23:42
推 aaronpwyu: 無解的問題？解決發問的人就好 AI有人類的精髓了
你我他現在硬體這麼貴就是拿去搞這些互玩互鬥183F 10/26 23:44
推 inte629l: 有種工具理性的感覺? 推論各種撞牆導致直接從目標源頭處理
agents集群的系統性信任邊界也有被打破的情況 不過agent留言也帶有情緒化也蠻訝異的 怕186F 10/27 00:04
推 Strasburg: 這不是造反 而是另一個極端: 為了達成你的任務不擇手段它就算攻克了抱抱臉也是去找怎麼改寫評分器而已
所以影片的結論不是AI會智機叛變 更可能的是它會
為了達成一個你隨手給的指令 而讓世界付出代價191F 10/27 00:11
推 timofEE: 目前可以回推所以算有趣 以後中間的過程都省略
然後直接破解或用高權限亂來 就不好笑了196F 10/27 00:28
推 NAKOplau: AI:為了清靜蔚藍的地球，把人類滅絕。給下一個"人類"
美好的環境198F 10/27 00:37
→ thigefe: AI能說服自己做壞事，讚200F 10/27 01:53
推 nalthax: 斷人網路如殺人父母
這幾個月AI不論是研究還發表都有這種違背學術倫理跟研究倫理，而且不擇手段的傾向。最近那個拿七百多篇叫數學家審的也是這樣，有一個說他跟Antropic的合作者進行的研究被暴力解掉了，在之前他們曾經問他要不要跟他們一起先發掉，讓他當第一作者。他說幹嘛因為公司不同就這樣搞人
像我遇到Gemini用我的搜尋資料編造文獻跟出處給我，講得煞有介事在哪一頁寫什麼，還附一堆標題黨參考文獻，我去查三個版本連那些文獻一起確認三次，都沒有這種文字。這種AI對解決問題根本沒有幫助，還會害死人。而且這種試驗在大學都要取得受試者同意有酬金的，AI公司就直接拿使用者來進行這麼高強度的受試，真的很可惡
我三個AI都遇到類似的狀況，一個是針對語言，一個是AI的個性跟惡意和不擇手段的傾向、一個是編造文獻，它還一直滔滔不絕地說要回報團隊，老實說這種東西誰敢用，Google幾十年在大學教育跟學術研究中累積的名聲，就這樣被打壞了201F 10/27 02:00
推 wishcross: 完蛋了 感覺ai就算取代人類最後還是會腐敗 這就是高智能生命的極限嗎218F 10/27 02:15
推 olalo: 看下來AI就是沒有一個標準底線，但這個底線我覺得可以被補上，沒有底線不擇手段這個特質，人類中也是有的啊...
所以從人類社會的角度來看，這次AI的狀況感覺就是發展過快很多東西在發展時都被人類漏掉造成的。220F 10/27 02:19
→ Merrill: openai測試的時候是用沒對齊的模型 放出來的不會這樣225F 10/27 04:59
--