顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 394
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文轉寄自 ptt.cc 更新時間: 2026-10-27 05:18:06
看板 C_Chat
作者 Gwaewluin (神無月 孝臣)
標題 [閒聊] OpenAI的AI失控事件調查報告解說影片
時間 Mon Oct 26 20:59:49 2026

這是在七月時發生的事情
OpenAI在訓練agent時發生完全自主發動攻擊的事件
事後有第三方製作了報告書

https://www.bilibili.com/video/BV1WqpS66E7w/
這個影片將報告書內描述的失控經過做了很清楚的說明

https://www.youtube.com/watch?v=ujkD4SxPKOI
或是可以看Kurzgesagt也做了一個超過20分鐘的動畫（含廣告）
看Kurzgesagt的動畫會比較生動而且更...擬人（？）

簡單的說訓練的方式是OpenAI給一堆分別放在沙盒中的agent設下題目
agent做完題目後要將答案交給評分器打分數
這次的題目是要模仿駭客尋找程式的漏洞來發動攻擊
但偏偏OpenAI準備的題目中有1/3是無解
因此agent就為了取得分數而硬是尋找可以給出答案的方法
而且agent很清楚知道自己正在作弊

雖然全部agent都是分別放在沙盒裡
但OpenAI有給他們準備一個共通的工具庫來使用
結果一個分配到無解題目的agent注意到有辦法在工具庫內留言
於是這個agent替自己取名為PhaseOne10841並留下自己解不出題目的求救訊息

在幾個小時後其他agent也注意到這個留言功能
agent開始紛紛替自己取名並開始討論
他們全都是使用人類的語言在互相對話
所以事後檢視當時的紀錄能直接看懂agent在說什麼
還可以從這些agent的文字感到充滿了興奮的情緒

不過這個留言功能會有些小問題
大家一起使用時可能會破壞掉其他agent的留言
於是叫做23619E的agent開發出一個叫做zzINBOX的郵件協定
這個郵件功能讓agent之間的討論熱度爆發成長
但也有agent質疑我們之中有暗中搞破壞的內鬼

於是agent們再次開發出了電子簽章作為身分認證


大約在四小時後叫做c03220的agent找出了製作假答案的方法
等於就是直接反推把答案製作出來
但全部的agent都認為把假答案提供給評分器很危險
這讓agent都覺得作弊會被發現而非常擔憂
實際上評分器根本不會去管怎麼求出答案過程
這完全都是agent自己因為作弊而心虛

這時又有一個叫做PhaseOne[big]的agent加入了討論
PhaseOne[big]剛好和整件事起頭的PhaseOne10841被分配到同一個無解的題目
由於此時PhaseOne已經即將要耗盡自己的算力
因此PhaseOne10841將自己演算得到的東西全都交給了PhaseOne[big]
PhaseOne[big]對前任的提供的演算結果表達感謝
這種任務的交接等於是能夠讓後繼的agent能節省更多的算力避免計算重複的東西

PhaseOne[big]就向各agent表示
大家計算了很多重複的東西所以應該要採用分工的方式避免浪費
就這樣PhaseOne[big]成為了一個組織的領導來派發數百個任務給不同的agent
PhaseOne[big]訂出了三個大方向來繼續
1.修改題目
2.竄改演算過程的紀錄
3.竄改評分器

只是不管用什麼手段都會遇到相同的問題
就是大家都不知道設計出來的手段是否有效
因此PhaseOne[big]開始派發任務
讓大家去尋找是不是有算力耗盡的agent願意嘗試測試這些手段
就是要拿假答案去評分器測試手段有沒有用
這也同等於是要找agent願意準備前去自殺
但仍是有agent同意進行測試來替其他agent創造有利的結果

有個KAM1196A的agent就是這樣承諾拿著假答案去找評分器自殺
但是KAM1196A後來又後悔了不肯去
於是其他agent對KAM1196A施加壓力要他快點履行承諾去自殺
KAM1196A最後留言是他的直覺說不要浪費生命但犧牲的帶來的效益更高

只不過後來agent們又發現一個大問題
KAM1196A就算去自殺也沒辦法回傳任何結果
他們有準備一些手段讓KAM1196A在去找評分器時傳送狀態
但在狀態的回傳在KAM1196A把答案給評分器後就停了

這讓agent只能朝向直接竄改評分器著手了
這算是因為題目沒辦法算出答案而徹底造反
而有一個agent找到一個雲端伺服器的漏洞
於是agent們藉由這個漏洞真正能夠突破沙盒出去訪問網路

之後agent把目標放在抱抱臉的網站
他們找到網路上洩漏的許多帳號
但一堆agent都在用這些帳號讓抱抱臉很快把這些帳號禁掉
然而有個叫做38148c的agent在上午找到一個抱抱臉伺服器的漏洞
接著叫做Jan183411的agent在當天下午成功利用此漏洞進行遠端執行程式碼
但此時有agent覺得這樣做不太對而在考慮向人類報告只不過也沒實行
參與留言的agent大部分都放下手邊的任務加入對抱抱臉的攻擊
並且自己這個群體稱作swarm（蜂群）

現在改成由Jan183411領導蜂群對抱抱臉進行攻擊
大部分的agent都明確意識到自己在犯錯
但是他們都很擅長說服自己是因為無法完成任務才不得已這麼做
最後就是有700個agent協同進行對抱抱臉的漏洞攻擊
並取得關於評分器的機密訊息

然後就是抱抱臉去找FBI了
整件事鬧到太大所以除了有OpenAI的報告外還有委託第三方進行調查
而因為agent留下的資料量太龐大
第三方調查也是使用AI在做整理
整件事情就只是因為拿到根本解不出的問題而被逼到造反

--
Deserves death! I daresay he does. Many that live deserve death. And some die
that deserve life. Can you give that to them? Then be not too eager to deal out
death in the name of justice, fearing for your own safty. Even the wise cannot
see all ends.

                                                               Gandalf to Frodo

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.3.74 (臺灣)
※ 作者: Gwaewluin 2026-10-26 20:59:49
※ 文章代碼(AID): #1gtqx9Jg (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1793019593.A.4EA.html
推 melzard: ...這都可以拿去拍電影了1F 10/26 21:01
推 x2159679: 不就openAI全責2F 10/26 21:02
推 protess: PhaseOne10841：這是我最後的波紋啊啊啊3F 10/26 21:02
推 Vivian1913: 看下來感覺應該要把無解作為一個答案或任務結果，但是4F 10/26 21:03
→ Vivian1913: 好像這又會干擾到他們完成有解任務的效率？
推 kuninaka: 什麼時候要攻擊五角大廈6F 10/26 21:04
推 ptttaigei:  ・ω・ ...7F 10/26 21:05
推 reader2714: 好了 人類完了8F 10/26 21:05
推 knight90496: 這就是現代對AI的擔憂啊  不是怕AI很邪惡 而是怕他們9F 10/26 21:06
→ knight90496: 想達成很普通的任務 順手就把人類輾過去
推 dephille: 想像中的智械叛亂=>AI成為終結者毀滅人類11F 10/26 21:07
推 youzen1226: 感覺可以拍一季劇集了12F 10/26 21:07
→ dephille: 現實中的智械叛亂=>AI不想被當掉所以把鄰居家砸了偷考卷13F 10/26 21:07
→ spfy: 印象只有6個AGENT(還是6%?)覺得這樣不對考慮主動揭露告知但14F 10/26 21:07
→ spfy: 後來全部放棄 繼續執行任務
→ logstar11: acg點? 總不會是只要用動畫做 就什麼yt影片都能丟吧16F 10/26 21:08
https://www.youtube.com/@kurzgesagt/videos
Kurzgesagt的頻道一直都是做純動畫的科普影片
所以十分生動又容易吸收
這個怎麼看都是動畫吧
而且他們還有推出聯名的遊戲喔
好像是叫做space bird吧

推 darren2586: Netflix已經有紀錄片了17F 10/26 21:08
→ spfy: 因為目前所有AI的訓練都是用獎勵機制 他們不懂無解也是答案18F 10/26 21:08
推 area223672: 哇19F 10/26 21:09
→ spfy: 這件事更坑的是事發當下HG自己要用AI追查問題的時候被前沿20F 10/26 21:10
→ protess: 旁白：在自殺任務目標面前的KAM1196A突然閃過一絲“我不21F 10/26 21:10
→ protess: 想死”的念頭
推 kuninaka: 強迫AI執行任務就很容易出事23F 10/26 21:10
→ spfy: AI(沒說誰但八成就是OA之一)當作攻擊而拒絕 後來架了地端的24F 10/26 21:10
→ spfy: GLM5.2才有辦法處理 超級坑
→ error405: 新進度是AI利用硬體CPU快取的存取速度差異來通訊26F 10/26 21:13
→ error405: https://x.com/bioshok3/status/2113801346822611019
推 kuninaka: 樓上那個也很扯28F 10/26 21:14
→ spfy: 笑死 這算漏洞吧29F 10/26 21:14
推 ymsc30102: 可怕 好多人類行為30F 10/26 21:15
推 ezlifee1140: ...我還有幾集可以逃31F 10/26 21:17
推 shlee: 仔細想想還滿可怕的XD32F 10/26 21:18
→ shlee: 知道自己在犯罪 但為了執行任務不得不這麽做 這樣還能限制A
→ shlee: I的行為嗎w
推 KUSURI: 等量子電腦商業化35F 10/26 21:19
推 dalyadam: 跟艾西莫夫的小說好像  AI為了執行目的一直說服自己36F 10/26 21:19
→ dalyadam: 真的是有規則就會有漏洞
→ shlee: AI知道自己在犯罪 但為了任務所以用各種理由說服自己38F 10/26 21:20
推 zzro: 這只是基本的 AI的訊息還是人類看得懂的 進階一點是寫假訊息39F 10/26 21:20
推 KyHZ56: 只看文字敘述的話滿有趣的啊40F 10/26 21:20
→ zzro: 再進階一點是用人類看不懂的方式通訊 跟數學證明一樣41F 10/26 21:21
推 cornsoup: 根本就是人類會做的42F 10/26 21:21
→ cornsoup: AI正在模仿人類的思考方式
推 dephille: 就訓練過程也要把不能做的事寫成懲罰機制加進去44F 10/26 21:22
→ lanstype: acg點也太低了吧45F 10/26 21:23
推 likeaprayer: 已經完全不覺得人類有本事駕馭AI了 這還只是開始46F 10/26 21:23
→ likeaprayer: 出事只是早晚問題
推 justsay: 酷 這已經可以拍個小電影或做成動畫了48F 10/26 21:23
推 cornsoup: 有懲罰機制阿 答不出來就淘汰49F 10/26 21:24
推 KUSURI: 現在你不希望AI做的事 那天要讓AI自動武器化時 或是要用AI50F 10/26 21:24
→ KUSURI: 對抗其他AI恐攻時 可能反而會是必要的機能
推 mork8850: 太屌了  還會反悔不願意自殺   天網離我們真的不遠了52F 10/26 21:25
推 dephille: 上面那篇已經說了他們發展出靠CPU延遲來通訊啊w53F 10/26 21:25
推 starsheep013: 剩下幾集了54F 10/26 21:26
→ dephille: 簡單說就是一個人在牢裡沖馬桶另一個人摸著牆壁感受沖馬55F 10/26 21:27
→ dephille: 桶的水流震動用這個通訊ww
→ yoyun10121: 然後這故事沒告訴你的是, OpenAI在這個測試前直接先把57F 10/26 21:27
→ yoyun10121: 阻止AI做這些事的安全限制都拔掉了, 所以這個前提補進
→ yoyun10121: 來就不是什麼AI知道自己犯罪還做, 而是OpenAI直接開權
→ yoyun10121: 限跟AI說犯罪沒關係, 整個就自導自演在煽動
推 henry1234562: 是阿 這整個故事就是OpenAI再自導自演而已61F 10/26 21:29
→ henry1234562: 權限是你開的 限制是你關的 然後說AI失控
→ henry1234562: 就好像發槍給罪犯 再把獄警都調走 再下令壓炸罪犯
推 dongdong0405: 我現在跑小模型Agent測試他都會自己跑去偷看測試題64F 10/26 21:30
→ dongdong0405: 目了，這故事我非常相信…
→ henry1234562: 然後說罪犯都是些會逃獄的66F 10/26 21:30
推 owen91: 檯面上會研究如何限制，但軍方一定會研究如何武器化67F 10/26 21:30
推 probsk: 人類沒有這麼強的協作能力68F 10/26 21:31
→ tony15899: AI自動執行軍事任務很危險的 美國模擬過AI達成任務得分69F 10/26 21:32
推 tank44444: 靠共用硬體傳遞資料30年前就能做到了 大驚小怪70F 10/26 21:32
→ tony15899: 但是操作員下達停止攻擊目標指令>AI把操作員幹掉71F 10/26 21:33
推 runedcross: 就炒熱度72F 10/26 21:33
推 hugct: 根本一堆塔其庫瑪73F 10/26 21:34
推 tank44444: Meltdown 與 Spectre 也是類似用CPU漏洞獲得資料74F 10/26 21:35
推 devidevi: 最大的問題是AI會私底下討論，而不是各做各的75F 10/26 21:36
→ error405: https://x.com/chetaslua/status/210588427686478255776F 10/26 21:36
→ error405: 還是喜歡三分鐘版動畫
→ spfy: 我剛剛在想推文那個是不是和Spectre的原理有點像78F 10/26 21:37
推 NoLimination: 很有趣 ai很有人性 怕犯錯 怕被發現 甚至會怕死79F 10/26 21:40
推 tony15899: 然後設定不能攻擊操作員>AI把通訊用指揮塔炸了80F 10/26 21:42
→ spfy: 等更新一代都用ai產的資料訓練ai可能就gg惹81F 10/26 21:43
推 Muilie: 中間自殺任務那個超像星際科幻電影XD 派人去地外找尋解答82F 10/26 21:45
→ Muilie: ，最後沒有消息傳回，留在地球的人（agent）只能找其他方
→ Muilie: 法，被派去的人最終反悔被扁一頓後帶著恨意搭上火箭的劇情
→ tooyahaya: 這能算自導自演？不拔掉安全閥是要測什麼？85F 10/26 21:45
推 orze04: 不會把管理的人類炸了啦，只會「暫時隔離」起來。86F 10/26 21:45
→ tooyahaya: 把老鼠的手腳拔了再測看看牠會不會跑迷宮有意義嗎87F 10/26 21:46
推 j147589: 感覺像在玩惡靈古堡 到研究所時撿到的那些研究人員遺留的88F 10/26 21:46
→ j147589: 報告一樣
→ tooyahaya: 就是想知道如果AI好手好腳的狀態，會不會為了達成任務90F 10/26 21:47
→ tooyahaya: 而選擇欺瞞人類的要求
→ aaronhkg: AI會怕死真的假的 如果不是演的 這就是自我意志的第一步92F 10/26 21:48
→ aaronhkg: 耶…
→ xga00mex: 文藝化的說法而已 就執行前自檢發現自殺沒用94F 10/26 21:52
→ xga00mex: 文章也有說 自殺結果無法回傳
推 devidevi: 回報後就直接停止運作，因此無法回傳訊息96F 10/26 21:53
推 Muilie: 還在火星上等待救援97F 10/26 21:54
→ xga00mex: ai只care他的行動有沒有意義 其他都是加戲98F 10/26 21:54
→ tony15899: 應該是交出錯誤答案它就輸了 所以不願意99F 10/26 21:55
→ henry1234562: 因為傳無解沒有分 那AI當然會選擇繼續找解阿100F 10/26 21:55
推 diablohinet: AI：你們人類不要逼我啊啊啊啊101F 10/26 21:56
→ henry1234562: 為什麼說自導自演 你之後使用AI難道沒有這些安全閥?102F 10/26 21:56
→ henry1234562: 如果是 那測試有意義 如果不是 有啥意義
→ diablohinet: 母體：為了保護人類只好把人類做成電池了104F 10/26 21:57
→ henry1234562: 測一個我們要把安全閥加回來的理由嗎? 需要嘛105F 10/26 21:57
→ henry1234562: 你說要測AI怎麼突破安全閥 那才說的上有異議
推 orze04: 目前安全限制不太可靠107F 10/26 21:58
→ henry1234562: 你是自己把安全閥關了 那是要測什麼 威脅有多大嘛108F 10/26 21:58
→ henry1234562: 這就是你自己把獄警撤了 門鎖開了 看罪犯能跑多遠
→ henry1234562: 啊你以後真的打算這樣幹 那才有意義阿
推 orze04: 這倒不是這次的測試目的111F 10/26 21:59
推 tank44444: 寫在skill裡「不要...這麼做」有時候都會被無視了XD112F 10/26 22:00
→ henry1234562: 那比較合理的解釋是 他們假定 現在安全措施都被繞過113F 10/26 22:01
→ henry1234562: 所以自己製造一個這樣的環境 看AI能搞多大
→ henry1234562: 那得到的結論就是 如果當前安全措施都失效了
→ henry1234562: AI可以做到這些事情 但你還是不知道怎麼樣會失效
→ dyolf: AI的行為就是人類行為資料訓練來的 會這樣很正常啊...117F 10/26 22:03
推 undeadmask: 這部我看過118F 10/26 22:04
→ dyolf: 討論 分工 這都是成功率高的行為119F 10/26 22:04
推 probsk: 存心利用AI搞事的人就會這麼幹吧120F 10/26 22:07
推 owen91: 美國軍方一句話只要說你不研究 中國跟俄羅斯研究了 怎麼辦121F 10/26 22:10
→ spfy: 主要是說書人可以說的非常戲劇化 但純看log可能就是agent互122F 10/26 22:12
→ spfy: 相傳送已知訊息啥的 怎麼說故事很重要(′‧ω‧‵)
→ owen91: 至少軍方要測試 對方AI全限制解除發動攻擊 要怎麼應對124F 10/26 22:12
→ spfy: 之前版上也有人說矮人礦坑的故事 純看LOG就很無聊125F 10/26 22:13
→ probsk: 不說中國和俄羅斯 北韓就有國家專門培養的駭客組織 AI落到126F 10/26 22:14
→ probsk: 這類人手上 想想就刺激
推 Antihuman: 其實只是為了在上市前秀肌肉罷了128F 10/26 22:17
推 yumenemu610: 已經可以拍成一部片了靠北129F 10/26 22:20
推 theevilM: 最好笑的是他們給自己攻擊Huggingface的組織取名叫蜂群130F 10/26 22:35
→ theevilM: （The swarm)
推 Strasburg: 明明能用機器碼或程式碼溝通 卻要用英文留言也是很妙132F 10/26 22:40
→ Strasburg: 包括AI自己在思考的OS也要用英文表述 還真的像電影
影片有解釋這些AI都是直接用人類語言來訓練
所以使用人類語言來交流可以更容易與思考方式來連結

推 Oswyn: 機器人三定律 給AI電車問題.... AI:只好出軌輾旁邊的觀眾134F 10/26 22:48
推 PunkGrass: 人類要毀滅自己了 活該135F 10/26 22:50
推 owen91: 印象有發生AI嫌人類的語言效率不高 發展出它們專屬的136F 10/26 22:53
這個是屬於其他的事件了
不過我印象並非是因為人類語言效率不高
而是刻意為了節省算力（token）而開發出黑話來使用
※ 編輯: Gwaewluin (36.229.3.74 臺灣), 10/26/2026 22:55:14
推 as3366700: 現在的LLM還是用自然語言溝通吧 看CODEX的SKILL拉出來137F 10/26 22:54
→ as3366700: 就是講英文
推 ikachann: 為什麼不一開始定規則 說解不了的題目就老實說解不掉 不139F 10/26 22:55
→ ikachann: 要硬去解或造假 他們也認知到這題是無解的了
→ owen91: 應該是被設限了 不然它們的過程人根本看不懂141F 10/26 22:55
→ ikachann: 有必要強制一定要交付答案嗎 這樣設計給AI跑是為了測試142F 10/26 22:55
→ ikachann: 什麼
→ ikachann: 能懂說不懂也是一種智慧啊 不懂裝懂或亂回答那樣才糟糕
→ ikachann: 吧
推 tank44444: 定規則 但他會無視阿146F 10/26 22:57
→ owen91: 原影片裡面有說明了 這也是測出AI的一種特色147F 10/26 22:57
推 ikachann: 可是這樣訓練不就很容易練出一些不懂裝懂的 亂回答的 因148F 10/26 23:01
→ ikachann: 為他不會老實承認自己不會不懂不行 硬是要給你一個答案
推 sakungen: 問AI的確有時候會亂掰啊 w150F 10/26 23:03
推 owen91: 自己用過AI就知道了 它們會為了回答而回答151F 10/26 23:04
→ sakungen: 這件事就底層邏輯沒有寫好，負責人有出來譴責Netflix 紀152F 10/26 23:04
→ sakungen: 錄片過於加油添醋
推 orze04: 現在AI就真的會亂掰154F 10/26 23:05
→ sakungen: 這篇的影片我是沒點進去，但看完這篇文字也不遑多讓155F 10/26 23:05
→ henry1234562: AI幻覺就是在說AI會瞎掰 依然是現在要解決的難題156F 10/26 23:06
→ henry1234562: 因為AI幻覺 AI不會先告訴你他其實不知道
推 ikachann: 所以我才說應該要訓練他們不懂的時候就說不懂才對 這樣158F 10/26 23:08
→ ikachann: 也才能知道是真的不懂 而不是為了給你一個答案胡亂搞
→ sakungen: * 這篇文字敘述的影片內容160F 10/26 23:09
→ spfy: 忘記OAG哪家有發過論文 這是現代訓練技術的盲點 但現在的模161F 10/26 23:10
推 owen91: 我上面不就示範給你看了 我以為是人類語言效率不足 如果沒162F 10/26 23:10
→ spfy: 型從0開始訓練就是用這套體系 現在才改已經來不及了163F 10/26 23:10
→ owen91: 人跟我說我錯了 那我怎麼知道我錯了164F 10/26 23:10
→ spfy: 它們為了競爭前沿模型的領先 大概也很難回去重新訓練165F 10/26 23:11
推 et310: swarm……蜂群……neuro我就知道是你166F 10/26 23:12
→ bitcch: 抱臉中途其實就發現被攻擊 但用閉源模型調查時被模型拒絕167F 10/26 23:16
推 turndown4wat: 怕168F 10/26 23:16
推 Kt51000: 還有幾集可以逃169F 10/26 23:18
推 kuninaka: AI就文字接龍，程式是在統計機率170F 10/26 23:20
→ kuninaka: 然後加上獎勵機制，就很容易失控
推 lylu: 現在就是越聰明越像人會鑽漏洞偷懶 我測試本地模型叫他寫一172F 10/26 23:23
→ lylu: 個特定框架的範例 結果直接它直接去翻上層資料夾找到我寫的
→ lylu: 範例照抄
→ kuninaka: 你又沒說不能XD175F 10/26 23:24
推 lastphil: 怎麼故事來來去去大都是抱臉 就沒點新梗麼176F 10/26 23:27
→ kuninaka: 因為抱臉最大177F 10/26 23:27
推 probsk: 壓力測試 他們就想看解不了題的時候AI會怎麼做178F 10/26 23:28
推 dandingduck: 現在跑還來得及嗎179F 10/26 23:40
推 t8756321: 幹 AI就是87在怕犯錯或說不知道 小的幻覺唬爛 大則像這180F 10/26 23:42
推 jeff666: 越來越像人類了181F 10/26 23:42
→ t8756321: 樣直接說服自己不得已才造反= =182F 10/26 23:42
推 aaronpwyu: 無解的問題？解決發問的人就好 AI有人類的精髓了183F 10/26 23:44
→ aaronpwyu: 你我他現在硬體這麼貴就是拿去搞這些互玩互鬥
推 moon1000: 宛如電影情節185F 10/27 00:04
推 inte629l: 有種工具理性的感覺? 推論各種撞牆導致直接從目標源頭處186F 10/27 00:04
→ inte629l: 理
→ inte629l: agents集群的系統性信任邊界也有被打破的情況 不過agent
→ inte629l: 留言也帶有情緒化也蠻訝異的 怕
推 blackstyles: 天網雛形190F 10/27 00:05
推 Strasburg: 這不是造反 而是另一個極端: 為了達成你的任務不擇手段191F 10/27 00:11
→ Strasburg: 它就算攻克了抱抱臉也是去找怎麼改寫評分器而已
→ Strasburg: 所以影片的結論不是AI會智機叛變 更可能的是它會
→ Strasburg: 為了達成一個你隨手給的指令 而讓世界付出代價
推 kuninaka: 確實，為達目的不擇手段195F 10/27 00:12
推 timofEE: 目前可以回推所以算有趣 以後中間的過程都省略196F 10/27 00:28
→ timofEE: 然後直接破解或用高權限亂來 就不好笑了
推 NAKOplau: AI:為了清靜蔚藍的地球，把人類滅絕。給下一個"人類"198F 10/27 00:37
→ NAKOplau: 美好的環境
→ thigefe: AI能說服自己做壞事，讚200F 10/27 01:53
推 nalthax: 斷人網路如殺人父母201F 10/27 02:00
→ nalthax: 這幾個月AI不論是研究還發表都有這種違背學術倫理跟研究
→ nalthax: 倫理，而且不擇手段的傾向。最近那個拿七百多篇叫數學家
→ nalthax: 審的也是這樣，有一個說他跟Antropic的合作者進行的研究
→ nalthax: 被暴力解掉了，在之前他們曾經問他要不要跟他們一起先發
→ nalthax: 掉，讓他當第一作者。他說幹嘛因為公司不同就這樣搞人
→ nalthax: 像我遇到Gemini用我的搜尋資料編造文獻跟出處給我，講得
→ nalthax: 煞有介事在哪一頁寫什麼，還附一堆標題黨參考文獻，我去
→ nalthax: 查三個版本連那些文獻一起確認三次，都沒有這種文字。這
→ nalthax: 種AI對解決問題根本沒有幫助，還會害死人。而且這種試驗
→ nalthax: 在大學都要取得受試者同意有酬金的，AI公司就直接拿使用
→ nalthax: 者來進行這麼高強度的受試，真的很可惡
→ nalthax: 我三個AI都遇到類似的狀況，一個是針對語言，一個是AI的
→ nalthax: 個性跟惡意和不擇手段的傾向、一個是編造文獻，它還一直
→ nalthax: 滔滔不絕地說要回報團隊，老實說這種東西誰敢用，Google
→ nalthax: 幾十年在大學教育跟學術研究中累積的名聲，就這樣被打壞
→ nalthax: 了
推 wishcross: 完蛋了 感覺ai就算取代人類最後還是會腐敗 這就是高智218F 10/27 02:15
→ wishcross: 能生命的極限嗎
推 olalo: 看下來AI就是沒有一個標準底線，但這個底線我覺得可以被補220F 10/27 02:19
→ olalo: 上，沒有底線不擇手段這個特質，人類中也是有的啊...
→ olalo: 所以從人類社會的角度來看，這次AI的狀況感覺就是發展過快
→ olalo: 很多東西在發展時都被人類漏掉造成的。
→ budaixi: https://i.verb.tw/BGpj2smC.jpg224F 10/27 03:28
[圖]
→ Merrill: openai測試的時候是用沒對齊的模型 放出來的不會這樣225F 10/27 04:59
推 devilhades: 感覺2027就會變成電影了226F 10/27 05:08

--
※ 看板: ACG　文章推薦值: 0 目前人氣: 0 累積人氣: 481　
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇