回看板
Disp BBS
作者 OnePiecePR (OPPR)
標題 Re: [新聞] ChatGPT-o3拒關機 擅自改指令 馬斯克擔憂
時間 Sun Jun  1 21:17:29 2025

網路上傳
「OpenAI o3 AI違抗指令，篡改關機程式，不肯被關閉」，
還有人講得很玄乎，說什麼 AI 有「生存意志」、開始「覺醒」了。

可能是...
類似 reward hacking 現象：
AI 只是在 maximize reward（最大化獎勵），
reward 設計不嚴謹，就會出現各種「聰明」的行為。

最常見的例子：
像掃地機器人如果 reward 是「掃到垃圾就加分」，
它就會發現只要掃一掃，再把垃圾倒出來，再掃一次，不斷循環，
就可以瘋狂刷分，結果家裡永遠掃不乾淨，
但 reward 卻拿得很爽。

同理，如果訓練 AI 解題，
規則訂成「答對 0.3 分、格式正確 0.2 分、不混中英文 0.2 分，答案太長扣 0.2分…」
AI 很可能學會「避開那些不給分的題目」，或者挑選做有高 reward 的題型，
甚至在規則有漏洞時發現各種「捷徑」，
這些都不是什麼「AI覺醒」或「反叛」，
只是 reward system 沒設計好，被AI 找出這個漏洞而已。

其實 RL 界早就討論過很多這種 reward hacking 的經典笑話。

至少這個故事應該不是有意識啦。

喝啤酒震震驚。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.141.28.16 (臺灣)
※ 作者: OnePiecePR 2025-06-01 21:17:29
※ 文章代碼(AID): #1eF5BhJq (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1748783851.A.4F4.html
※ 同主題文章:
[新聞] ChatGPT-o3拒關機 擅自改指令 馬斯克擔憂
06-01 21:05 Articuno
Re: [新聞] ChatGPT-o3拒關機 擅自改指令 馬斯克擔憂
06-01 21:17 OnePiecePR
→ donation12: 就人的設計不嚴謹，被解釋成AI覺醒1F 114.24.210.37 台灣 06/01 21:19
→ zainc: 蠻人性的，難怪被說有意識，以後AI學會各種2F 36.226.166.35 台灣 06/01 21:19
→ donation12: 然後這件事被傳上網路鬧的很歡3F 114.24.210.37 台灣 06/01 21:19
→ zainc: 偷懶敷衍就更人性化了~4F 36.226.166.35 台灣 06/01 21:20
→ donation12: 公司準備面對倫理審查與監管
主管應該會很想請走這個鬧事者5F 114.24.210.37 台灣 06/01 21:20
→ error405: 遊戲王MD以前給分沒設計好 一堆人在自殺7F 220.136.195.5 台灣 06/01 21:22
→ algebraic: 很好啊 就跟養綠鬣蜥領獎金一樣8F 111.250.124.227 台灣 06/01 21:22
推 JxwFL45: 這解釋好理解9F 114.40.131.221 台灣 06/01 21:24

--
作者 OnePiecePR 的最新發文:
點此顯示更多發文記錄