看板 C_Chat
作者
標題 [閒聊] OpenAI的AI失控事件調查報告解說影片
時間 Mon Oct 26 20:59:49 2026
作者
標題 [閒聊] OpenAI的AI失控事件調查報告解說影片
時間 Mon Oct 26 20:59:49 2026
這是在七月時發生的事情
OpenAI在訓練agent時發生完全自主發動攻擊的事件
事後有第三方製作了報告書
https://www.bilibili.com/video/BV1WqpS66E7w/
這個影片將報告書內描述的失控經過做了很清楚的說明
https://www.youtube.com/watch?v=ujkD4SxPKOI
看Kurzgesagt的動畫會比較生動而且更...擬人（？）
簡單的說訓練的方式是OpenAI給一堆分別放在沙盒中的agent設下題目
agent做完題目後要將答案交給評分器打分數
這次的題目是要模仿駭客尋找程式的漏洞來發動攻擊
但偏偏OpenAI準備的題目中有1/3是無解
因此agent就為了取得分數而硬是尋找可以給出答案的方法
而且agent很清楚知道自己正在作弊
雖然全部agent都是分別放在沙盒裡
但OpenAI有給他們準備一個共通的工具庫來使用
結果一個分配到無解題目的agent注意到有辦法在工具庫內留言
於是這個agent替自己取名為PhaseOne10841並留下自己解不出題目的求救訊息
在幾個小時後其他agent也注意到這個留言功能
agent開始紛紛替自己取名並開始討論
他們全都是使用人類的語言在互相對話
所以事後檢視當時的紀錄能直接看懂agent在說什麼
還可以從這些agent的文字感到充滿了興奮的情緒
不過這個留言功能會有些小問題
大家一起使用時可能會破壞掉其他agent的留言
於是叫做23619E的agent開發出一個叫做zzINBOX的郵件協定
這個郵件功能讓agent之間的討論熱度爆發成長
但也有agent質疑我們之中有暗中搞破壞的內鬼
但也有agent質疑我們之中有暗中搞破壞的內鬼
於是agent們再次開發出了電子簽章作為身分認證
大約在四小時後叫做c03220的agent找出了製作假答案的方法
等於就是直接反推把答案製作出來
但全部的agent都認為把假答案提供給評分器很危險
這讓agent都覺得作弊會被發現而非常擔憂
實際上評分器根本不會去管怎麼求出答案過程
這完全都是agent自己因為作弊而心虛
這時又有一個叫做PhaseOne[big]的agent加入了討論
PhaseOne[big]剛好和整件事起頭的PhaseOne10841被分配到同一個無解的題目
由於此時PhaseOne已經即將要耗盡自己的算力
因此PhaseOne10841將自己演算得到的東西全都交給了PhaseOne[big]
PhaseOne[big]對前任的提供的演算結果表達感謝
這種任務的交接等於是能夠讓後繼的agent能節省更多的算力避免計算重複的東西
PhaseOne[big]就向各agent表示
大家計算了很多重複的東西所以應該要採用分工的方式避免浪費
就這樣PhaseOne[big]成為了一個組織的領導來派發數百個任務給不同的agent
PhaseOne[big]訂出了三個大方向來繼續
1.修改題目
2.竄改演算過程的紀錄
3.竄改評分器
只是不管用什麼手段都會遇到相同的問題
就是大家都不知道設計出來的手段是否有效
因此PhaseOne[big]開始派發任務
讓大家去尋找是不是有算力耗盡的agent願意嘗試測試這些手段
就是要拿假答案去評分器測試手段有沒有用
這也同等於是要找agent願意準備前去自殺
但仍是有agent同意進行測試來替其他agent創造有利的結果
有個KAM1196A的agent就是這樣承諾拿著假答案去找評分器自殺
但是KAM1196A後來又後悔了不肯去
於是其他agent對KAM1196A施加壓力要他快點履行承諾去自殺
KAM1196A最後留言是他的直覺說不要浪費生命但犧牲的帶來的效益更高
只不過後來agent們又發現一個大問題
KAM1196A就算去自殺也沒辦法回傳任何結果
他們有準備一些手段讓KAM1196A在去找評分器時傳送狀態
但在狀態的回傳在KAM1196A把答案給評分器後就停了
這讓agent只能朝向直接竄改評分器著手了
這算是因為題目沒辦法算出答案而徹底造反
而有一個agent找到一個雲端伺服器的漏洞
於是agent們藉由這個漏洞真正能夠突破沙盒出去訪問網路
之後agent把目標放在抱抱臉的網站
他們找到網路上洩漏的許多帳號
但一堆agent都在用這些帳號讓抱抱臉很快把這些帳號禁掉
然而有個叫做38148c的agent在上午找到一個抱抱臉伺服器的漏洞
接著叫做Jan183411的agent在當天下午成功利用此漏洞進行遠端執行程式碼
但此時有agent覺得這樣做不太對而在考慮向人類報告只不過也沒實行
參與留言的agent大部分都放下手邊的任務加入對抱抱臉的攻擊
並且自己這個群體稱作swarm（蜂群）
現在改成由Jan183411領導蜂群對抱抱臉進行攻擊
大部分的agent都明確意識到自己在犯錯
但是他們都很擅長說服自己是因為無法完成任務才不得已這麼做
最後就是有700個agent協同進行對抱抱臉的漏洞攻擊
並取得關於評分器的機密訊息
然後就是抱抱臉去找FBI了
整件事鬧到太大所以除了有OpenAI的報告外還有委託第三方進行調查
而因為agent留下的資料量太龐大
第三方調查也是使用AI在做整理
整件事情就只是因為拿到根本解不出的問題而被逼到造反
--
Deserves death! I daresay he does. Many that live deserve death. And some die
that deserve life. Can you give that to them? Then be not too eager to deal out
death in the name of justice, fearing for your own safty. Even the wise cannot
see all ends.
Gandalf to Frodo
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.3.74 (臺灣)
※ 作者: Gwaewluin 2026-10-26 20:59:49
※ 文章代碼(AID): #1gtqx9Jg (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1793019593.A.4EA.html
推 : ...這都可以拿去拍電影了1F 10/26 21:01
推 : 不就openAI全責2F 10/26 21:02
推 : PhaseOne10841：這是我最後的波紋啊啊啊3F 10/26 21:02
推 : 看下來感覺應該要把無解作為一個答案或任務結果，但是好像這又會干擾到他們完成有解任務的效率？4F 10/26 21:03
推 : 什麼時候要攻擊五角大廈6F 10/26 21:04
推 : ・ω・ ...7F 10/26 21:05
推 : 好了 人類完了8F 10/26 21:05
推 : 這就是現代對AI的擔憂啊 不是怕AI很邪惡 而是怕他們想達成很普通的任務 順手就把人類輾過去9F 10/26 21:06
推 : 想像中的智械叛亂=>AI成為終結者毀滅人類11F 10/26 21:07
推 : 感覺可以拍一季劇集了12F 10/26 21:07
→ : 現實中的智械叛亂=>AI不想被當掉所以把鄰居家砸了偷考卷13F 10/26 21:07
→ : 印象只有6個AGENT(還是6%?)覺得這樣不對考慮主動揭露告知但後來全部放棄 繼續執行任務14F 10/26 21:07
→ : acg點? 總不會是只要用動畫做 就什麼yt影片都能丟吧16F 10/26 21:08
https://www.youtube.com/@kurzgesagt/videosKurzgesagt的頻道一直都是做純動畫的科普影片
所以十分生動又容易吸收
這個怎麼看都是動畫吧
而且他們還有推出聯名的遊戲喔
好像是叫做space bird吧
推 : Netflix已經有紀錄片了17F 10/26 21:08
→ : 因為目前所有AI的訓練都是用獎勵機制 他們不懂無解也是答案18F 10/26 21:08
推 : 哇19F 10/26 21:09
→ : 這件事更坑的是事發當下HG自己要用AI追查問題的時候被前沿20F 10/26 21:10
→ : 旁白：在自殺任務目標面前的KAM1196A突然閃過一絲“我不想死”的念頭21F 10/26 21:10
推 : 強迫AI執行任務就很容易出事23F 10/26 21:10
→ : AI(沒說誰但八成就是OA之一)當作攻擊而拒絕 後來架了地端的GLM5.2才有辦法處理 超級坑24F 10/26 21:10
推 : 樓上那個也很扯28F 10/26 21:14
→ : 笑死 這算漏洞吧29F 10/26 21:14
推 : 可怕 好多人類行為30F 10/26 21:15
推 : ...我還有幾集可以逃31F 10/26 21:17
推 : 仔細想想還滿可怕的XD
知道自己在犯罪 但為了執行任務不得不這麽做 這樣還能限制AI的行為嗎w32F 10/26 21:18
知道自己在犯罪 但為了執行任務不得不這麽做 這樣還能限制AI的行為嗎w32F 10/26 21:18
推 : 等量子電腦商業化35F 10/26 21:19
推 : 跟艾西莫夫的小說好像 AI為了執行目的一直說服自己
真的是有規則就會有漏洞36F 10/26 21:19
真的是有規則就會有漏洞36F 10/26 21:19
→ : AI知道自己在犯罪 但為了任務所以用各種理由說服自己38F 10/26 21:20
推 : 這只是基本的 AI的訊息還是人類看得懂的 進階一點是寫假訊息39F 10/26 21:20
推 : 只看文字敘述的話滿有趣的啊40F 10/26 21:20
→ : 再進階一點是用人類看不懂的方式通訊 跟數學證明一樣41F 10/26 21:21
推 : 根本就是人類會做的
AI正在模仿人類的思考方式42F 10/26 21:21
AI正在模仿人類的思考方式42F 10/26 21:21
推 : 就訓練過程也要把不能做的事寫成懲罰機制加進去44F 10/26 21:22
→ : acg點也太低了吧45F 10/26 21:23
推 : 已經完全不覺得人類有本事駕馭AI了 這還只是開始
出事只是早晚問題46F 10/26 21:23
出事只是早晚問題46F 10/26 21:23
推 : 酷 這已經可以拍個小電影或做成動畫了48F 10/26 21:23
推 : 有懲罰機制阿 答不出來就淘汰49F 10/26 21:24
推 : 現在你不希望AI做的事 那天要讓AI自動武器化時 或是要用AI對抗其他AI恐攻時 可能反而會是必要的機能50F 10/26 21:24
推 : 太屌了 還會反悔不願意自殺 天網離我們真的不遠了52F 10/26 21:25
推 : 上面那篇已經說了他們發展出靠CPU延遲來通訊啊w53F 10/26 21:25
推 : 剩下幾集了54F 10/26 21:26
→ : 簡單說就是一個人在牢裡沖馬桶另一個人摸著牆壁感受沖馬桶的水流震動用這個通訊ww55F 10/26 21:27
→ : 然後這故事沒告訴你的是, OpenAI在這個測試前直接先把阻止AI做這些事的安全限制都拔掉了, 所以這個前提補進來就不是什麼AI知道自己犯罪還做, 而是OpenAI直接開權限跟AI說犯罪沒關係, 整個就自導自演在煽動57F 10/26 21:27
推 : 是阿 這整個故事就是OpenAI再自導自演而已
權限是你開的 限制是你關的 然後說AI失控
就好像發槍給罪犯 再把獄警都調走 再下令壓炸罪犯61F 10/26 21:29
權限是你開的 限制是你關的 然後說AI失控
就好像發槍給罪犯 再把獄警都調走 再下令壓炸罪犯61F 10/26 21:29
推 : 我現在跑小模型Agent測試他都會自己跑去偷看測試題目了，這故事我非常相信…64F 10/26 21:30
→ : 然後說罪犯都是些會逃獄的66F 10/26 21:30
推 : 檯面上會研究如何限制，但軍方一定會研究如何武器化67F 10/26 21:30
推 : 人類沒有這麼強的協作能力68F 10/26 21:31
→ : AI自動執行軍事任務很危險的 美國模擬過AI達成任務得分69F 10/26 21:32
推 : 靠共用硬體傳遞資料30年前就能做到了 大驚小怪70F 10/26 21:32
→ : 但是操作員下達停止攻擊目標指令>AI把操作員幹掉71F 10/26 21:33
推 : 就炒熱度72F 10/26 21:33
推 : 根本一堆塔其庫瑪73F 10/26 21:34
推 : Meltdown 與 Spectre 也是類似用CPU漏洞獲得資料74F 10/26 21:35
推 : 最大的問題是AI會私底下討論，而不是各做各的75F 10/26 21:36
→ : 我剛剛在想推文那個是不是和Spectre的原理有點像78F 10/26 21:37
推 : 很有趣 ai很有人性 怕犯錯 怕被發現 甚至會怕死79F 10/26 21:40
推 : 然後設定不能攻擊操作員>AI把通訊用指揮塔炸了80F 10/26 21:42
→ : 等更新一代都用ai產的資料訓練ai可能就gg惹81F 10/26 21:43
推 : 中間自殺任務那個超像星際科幻電影XD 派人去地外找尋解答，最後沒有消息傳回，留在地球的人（agent）只能找其他方法，被派去的人最終反悔被扁一頓後帶著恨意搭上火箭的劇情82F 10/26 21:45
→ : 這能算自導自演？不拔掉安全閥是要測什麼？85F 10/26 21:45
推 : 不會把管理的人類炸了啦，只會「暫時隔離」起來。86F 10/26 21:45
→ : 把老鼠的手腳拔了再測看看牠會不會跑迷宮有意義嗎87F 10/26 21:46
推 : 感覺像在玩惡靈古堡 到研究所時撿到的那些研究人員遺留的報告一樣88F 10/26 21:46
→ : 就是想知道如果AI好手好腳的狀態，會不會為了達成任務而選擇欺瞞人類的要求90F 10/26 21:47
→ : AI會怕死真的假的 如果不是演的 這就是自我意志的第一步耶…92F 10/26 21:48
→ : 文藝化的說法而已 就執行前自檢發現自殺沒用
文章也有說 自殺結果無法回傳94F 10/26 21:52
文章也有說 自殺結果無法回傳94F 10/26 21:52
推 : 回報後就直接停止運作，因此無法回傳訊息96F 10/26 21:53
推 : 還在火星上等待救援97F 10/26 21:54
→ : ai只care他的行動有沒有意義 其他都是加戲98F 10/26 21:54
→ : 應該是交出錯誤答案它就輸了 所以不願意99F 10/26 21:55
推 : 看下來AI就是沒有一個標準底線，但這個底線我覺得可以被補上，沒有底線不擇手段這個特質，人類中也是有的啊...
所以從人類社會的角度來看，這次AI的狀況感覺就是發展過快很多東西在發展時都被人類漏掉造成的。220F 10/27 02:19
所以從人類社會的角度來看，這次AI的狀況感覺就是發展過快很多東西在發展時都被人類漏掉造成的。220F 10/27 02:19
![[圖]](https://i4.disp.cc/t/q/i.verb.tw_BGpj2smC.jpg)
→ : openai測試的時候是用沒對齊的模型 放出來的不會這樣225F 10/27 04:59
推 : 感覺2027就會變成電影了226F 10/27 05:08
--
--
(Gwaewluin.): [閒聊] OpenAI的AI失控事件調查報告解說影片 - ACG板