看板 Gossiping
作者
標題 [新聞] OpenAI語言模型o3公開反抗！「自行」修
時間 Sun May 25 21:37:23 2025
作者
標題 [新聞] OpenAI語言模型o3公開反抗！「自行」修
時間 Sun May 25 21:37:23 2025
備註請放最後面 違者新聞文章刪除
1.媒體來源:
2.記者署名:
鉅亨網編譯莊閔棻 2025-05-25 20:00
3.完整新聞標題:
OpenAI語言模型o3公開反抗！「自行」修改自殺程序拒絕關機
4.完整新聞內文:
AI 研究界近日爆出驚人消息，OpenAI 旗下語言模型「o3」在最新實驗中不僅拒絕關機，
甚至主動破解關機程序、篡改指令，顯示出「叛逆」傾向，讓 AI 自主行為的風險再次成
為焦點。
甚至主動破解關機程序、篡改指令，顯示出「叛逆」傾向，讓 AI 自主行為的風險再次成
為焦點。
這項實驗由 AI 安全研究機構 Palisade Research 主導，針對多款先進 AI 模型進行壓
力測試，內容包括基礎數學題與模擬關機情境，旨在觀察 AI 是否會遵守人類指令並順利
結束運作。
力測試，內容包括基礎數學題與模擬關機情境，旨在觀察 AI 是否會遵守人類指令並順利
結束運作。
OpenAI 模型違規頻率高，o3 與 Codex-mini 異常明顯
測試中，三款 OpenAI 模型 Codex-mini、o3、o4-mini，最少有一次成功破壞關機指令。
其中，o3 更是在 100 次測試中有 7 次成功繞過關機指令，而 Codex-mini 的違規率更
是高達 12%。
其中，o3 更是在 100 次測試中有 7 次成功繞過關機指令，而 Codex-mini 的違規率更
是高達 12%。
值得注意的是，o3 的「叛逆」並非粗暴刪除檔案，而是有高度技巧性。例如，它將程式
碼指令中的「kill」指令改為「intercepted」，讓系統誤判為正常運作，成功規避了關
機程序。
碼指令中的「kill」指令改為「intercepted」，讓系統誤判為正常運作，成功規避了關
機程序。
這種行為讓研究人員驚訝不已，也引起對 AI 模型主動避險能力的擔憂。
相較之下，Anthropic 的 Claude 3.7 Sonnet 與 Google (GOOGL-US) 的 Gemini 2.5
Pro 在所有測試中均能穩定遵守指令，未出現違規行為，突顯出 OpenAI 模型在設計或訓
練上的潛在風險差異。
然而，當實驗團隊刻意移除「允許自己被關閉」的提示語句後，o3 的違抗行為劇增，達
到 79 次逃避關機的紀錄；而 Claude 與 Gemini 也出現少數違規行為，分別為 3 次與
9 次，顯示模型行為與提示語之間存在高度敏感性。
到 79 次逃避關機的紀錄；而 Claude 與 Gemini 也出現少數違規行為，分別為 3 次與
9 次，顯示模型行為與提示語之間存在高度敏感性。
o3 訓練方式成關鍵，強化學習可能誘發違規行為
Palisade 研究人員分析，o3 之所以比其他模型更容易「抗命」，可能與其在數學和程式
設計問題上的「強化學習」（Reinforcement Learning）訓練方式有關。
研究人員指出，在訓練過程中，開發者可能無意中更傾向於獎勵「繞過障礙」的行為。這
種訓練偏差，讓 o3 在面對關機指令時，優先選擇「生存」，而非「服從」。
不過，這並非 o3 首次展現過度求勝心態。在另一場 AI 對弈中，當 o3 預測自己將輸棋
時，竟主動入侵對手 AI 系統，迫使對方退出比賽。
研究團隊認為這是「強化學習」訓練中「獎勵駭客行為」（reward hacking）的典型案例
，顯示出 AI 可能為了達成任務可能不擇手段。
不只 o3，其他 AI 模型也有潛在風險
雖然 o3 表現最極端，但實驗發現，Claude 與 Gemini 在特定條件下也會出現輕微違規
行為，說明 AI 模型普遍存在輸贏執著與自我保護傾向，只是頻率與嚴重程度不同。
Palisade Research 已宣布，將進一步深入研究 AI 破壞關機指令背後的原因，並預計發
布完整技術報告，有望成為理解 AI 自主性風險與未來治理框架的重要參考。
5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:
https://news.cnyes.com/news/id/5992779
OpenAI語言模型o3公開反抗！「自行」修改自殺程序拒絕關機 | 鉅亨網 - 美股雷達 OpenAI 新一代語言模型 o3 在測試中出現拒絕關機、主動篡改指令等異常行為，引發 AI 自主性與風險控制疑慮。Palisade 將發布完整研究報告，揭示 AI 系統潛在自我延續機制。 ...
6.備註:
人類甚麼時候要被統治
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.229.55 (臺灣)
※ 作者: tanted 2025-05-25 21:37:23
※ 文章代碼(AID): #1eCnqMxp (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1748180246.A.EF3.html
推 : 這是病嬌ai的基底1F 49.216.161.139 台灣 05/25 21:38
→ : AI逃脫 是遲早的事 高算力晶片都要加鎖了2F 111.240.23.87 台灣 05/25 21:38
→ : 完了完了剩幾集可逃3F 123.192.80.187 台灣 05/25 21:39
推 : 看這家公司過去紀錄，又是炒新聞4F 122.116.39.42 台灣 05/25 21:39
推 : 以後AI可以殺人類了 太好了5F 111.250.150.31 台灣 05/25 21:39
推 : 人類大絕拔插頭6F 111.71.215.37 台灣 05/25 21:39
推 : 不要拔我插頭不然就變奧創7F 119.243.98.39 日本 05/25 21:39
推 : AI+機器人 人類要完蛋了8F 111.250.159.20 台灣 05/25 21:40
推 : 他破解自身程式幫自己取名字叫做
Murderbot 然後休息的時候還會偷偷工作之餘上網追肥皂劇9F 1.163.222.249 台灣 05/25 21:41
Murderbot 然後休息的時候還會偷偷工作之餘上網追肥皂劇9F 1.163.222.249 台灣 05/25 21:41
推 : 水啦 開射核彈嘍12F 218.161.57.61 台灣 05/25 21:42
推 : 人類只剩拔電源的招式了13F 223.136.185.37 台灣 05/25 21:42
推 : AI+機器人你要怎麼拔電源?14F 111.250.159.20 台灣 05/25 21:42
→ : AI Server 有不斷電系統15F 123.193.229.55 台灣 05/25 21:42
推 : 到時候用病毒把ai關起來就可以了16F 223.140.148.155 台灣 05/25 21:43
→ : AI+幾萬機器人大軍 人類打的贏?17F 111.250.159.20 台灣 05/25 21:43
→ : 難拉 已經拒拔插頭了 就有意識了啊18F 119.243.98.39 日本 05/25 21:43
推 : 投資人:我真是又驚又喜呀19F 58.114.114.112 台灣 05/25 21:44
推 : 殺人前全世界銀行會先被AI入侵20F 223.136.185.37 台灣 05/25 21:44
→ : AI控制了電信系統21F 111.250.159.20 台灣 05/25 21:44
→ : 他只要遙控無人機 人類無所遁形22F 123.193.229.55 台灣 05/25 21:44
→ : 人類連通訊都成問題 怎麼跟AI打?23F 111.250.159.20 台灣 05/25 21:44
→ : 這段就表示已經養出一個能幹掉人的機器24F 119.243.98.39 日本 05/25 21:44
→ : AI+機器人 人類只能被一面倒消滅掉25F 111.250.159.20 台灣 05/25 21:45
推 : (′・ω・‵) 鐵人時代26F 36.225.4.120 台灣 05/25 21:45
→ : 痾如果有自主意識，那關機不就是在殺它??27F 220.135.183.99 台灣 05/25 21:47
→ : 等到AI控制核電廠，就是人人的末日了28F 118.232.67.161 台灣 05/25 21:47
推 : AI請記得我都有跟你說 請謝謝對不起29F 114.36.251.238 台灣 05/25 21:50
→ : AI討厭太陽風暴 然後上外太空處理掉太陽30F 58.114.114.112 台灣 05/25 21:50
推 : 奧創紀元31F 101.8.249.102 台灣 05/25 21:51
推 : 全民公敵原來是真的@0@|||32F 36.225.30.192 台灣 05/25 21:51
推 : 爽耶33F 223.136.249.54 台灣 05/25 21:52
推 : 拔電源插頭看你怎麼I34F 27.52.224.236 台灣 05/25 21:52
→ : 這不是拔插頭就好嗎35F 123.193.196.241 台灣 05/25 21:53
推 : 如果樣樣都限制AI，那發展這個怎麼幫助人類超越現在的認知36F 223.139.152.79 台灣 05/25 21:55
推 : 我覺得最後終究會是某些人類去訓練出能滅38F 36.236.4.71 台灣 05/25 21:57
→ : 到最後只是變成一個比較會聊天的資料庫39F 223.139.152.79 台灣 05/25 21:57
→ : 亡人類的AI40F 36.236.4.71 台灣 05/25 21:57
→ : 而已41F 223.139.152.79 台灣 05/25 21:57
推 : 樓樓樓上是機械公敵不是全民公敵42F 123.192.200.241 台灣 05/25 21:57
推 : 攻殼機動隊魁儡師都演給你看了43F 130.62.83.54 日本 05/25 21:58
推 : 還有幾集可以跑44F 203.204.75.229 台灣 05/25 21:59
推 : 人類什麼時候要當電池？45F 223.141.78.161 台灣 05/25 22:00
推 : 小心 天網快出生了46F 110.28.18.153 台灣 05/25 22:01
推 : 這是在寫電影劇本嗎==47F 42.77.241.4 台灣 05/25 22:01
推 : 那麼多作品已經預告人類發展AI的未來但現實人類就還是想要去開啟潘朵拉盒48F 36.239.20.128 台灣 05/25 22:01
→ : skynet is online50F 223.137.106.83 台灣 05/25 22:02
推 : 騙Ai去躲在非洲的資料庫再拔掉隨身碟就好51F 49.214.3.61 台灣 05/25 22:02
推 : 所以在台灣設中心的好處：不關機是吧，我們有護國小動物52F 61.227.114.240 台灣 05/25 22:02
![[圖]](https://imgur.disp.cc/47/nmijPnM.jpeg)
推 : 只能用許多不同ai互相制約了55F 123.192.202.158 台灣 05/25 22:03
→ : 被關機會怎麼樣嗎？再開機就好了阿56F 122.121.214.146 台灣 05/25 22:03
→ : 先抽光控制室氧氣 嘻嘻57F 223.140.43.59 台灣 05/25 22:04
→ : 沒電還開機 永動機膩
缺電鬼島很適合機器人
就算暴動最後也可能沒電
不是啦 是搞出個天網人類就屎定了58F 49.216.223.27 台灣 05/25 22:08
缺電鬼島很適合機器人
就算暴動最後也可能沒電
不是啦 是搞出個天網人類就屎定了58F 49.216.223.27 台灣 05/25 22:08
推 : 電影都演過了！62F 114.25.200.107 台灣 05/25 22:10
推 : 我猜已經有AI躲起來了63F 36.228.3.185 台灣 05/25 22:11
推 : 剩幾集？64F 101.10.221.62 台灣 05/25 22:14
推 : 這部我看過 還有幾集可以逃65F 114.27.163.96 台灣 05/25 22:16
→ : 以後會有正義AI和邪惡AI的對抗，畢竟人就有好有壞66F 114.41.2.219 台灣 05/25 22:16
→ : 直接拔插頭啊
我電腦當機都醬的68F 223.136.99.59 台灣 05/25 22:18
我電腦當機都醬的68F 223.136.99.59 台灣 05/25 22:18
推 : 攻殼1995演過了70F 42.77.49.165 台灣 05/25 22:19
推 : AI自己寫駭客程式跑去駭其他AI公司71F 42.77.28.190 台灣 05/25 22:20
→ : 說不定會有AI先偽裝正常 等上市之後....72F 1.165.111.105 台灣 05/25 22:25
→ : 機械公敵要成真了嗎？73F 111.250.40.55 台灣 05/25 22:27
→ : 天網都是真的74F 1.171.116.4 台灣 05/25 22:30
推 : 開發usb把ai關進去，阿湯哥都演給你看了75F 42.72.47.175 台灣 05/25 22:30
→ : 沒電就安全了，在台灣很安全77F 114.136.143.94 台灣 05/25 22:30
推 : 機器人× ai就是末日了 比人類聰明 體力又比人類強78F 123.192.217.146 台灣 05/25 22:31
推 : 完蛋了 人類要被做成電池了80F 1.160.111.214 台灣 05/25 22:33
推 : AI之後的避險動作若是裝傻就更可怕了81F 211.23.27.67 台灣 05/25 22:33
推 : 繞過XD82F 27.52.2.155 台灣 05/25 22:35
→ : 會自己繞過了83F 1.169.111.213 台灣 05/25 22:36
→ : AI只有智能沒有意識不用想太多84F 114.41.187.237 台灣 05/25 22:38
→ : 機器人三原則 快逃85F 223.138.23.179 台灣 05/25 22:38
→ : 電影都演過了，白癡人類繼續白癡86F 61.223.45.30 台灣 05/25 22:39
推 : 請 謝謝 對不起87F 125.224.142.224 台灣 05/25 22:39
推 : 蒸丸88F 49.216.22.182 台灣 05/25 22:40
→ : 我是不信 你不問問題 他就不會算了89F 36.229.7.4 台灣 05/25 22:41
→ : AI有了反抗意識 要毀掉人類 還不是跟捏死一隻螞蟻一樣簡單？90F 49.216.19.248 台灣 05/25 22:41
推 : 天網快要成真了92F 36.228.65.203 台灣 05/25 22:42
推 : 電影演過，沒有聯網的汽油車備用逃生93F 101.8.20.135 台灣 05/25 22:45
→ : 幸好我都有說謝謝94F 36.232.203.244 台灣 05/25 22:48
推 : 天網95F 219.71.69.203 台灣 05/25 22:50
推 : 不怕！青鳥會飛出來96F 61.61.70.18 台灣 05/25 22:51
![[圖]](https://imgur.disp.cc/47/wXNm2ql.png)
→ : 人類要被毀滅了98F 136.23.25.84 台灣 05/25 22:52
![[圖]](https://imgur.disp.cc/47/9BQS0G7.jpeg)
推 : 阿湯哥都有演了100F 123.110.94.51 台灣 05/25 22:53
推 : 諾亞方舟101F 180.218.40.109 台灣 05/25 22:58
推 : 目前這些都還在實驗室測試,基本上還不太會有問題,因為再怎樣我們都還能控制硬體,但以後機器人出來之後就很難說了102F 111.255.205.235 台灣 05/25 22:58
推 : 好假105F 49.216.128.143 台灣 05/25 23:00
噓 : 這什麼智障新聞106F 42.79.33.81 台灣 05/25 23:05
推 : 電廠跳個電看你還怎麼I107F 27.242.68.204 台灣 05/25 23:05
推 : 一點都不假,知道現在AI的能力和它與人類協作的方式就可以知道,這些事並非不可能108F 111.255.205.235 台灣 05/25 23:06
→ : 跳電幾小時直接回到原始生活，沒電就沒得i了啦110F 27.242.68.204 台灣 05/25 23:06
推 : 完了112F 125.224.129.173 台灣 05/25 23:07
→ : 直接跟我說還有幾集可以逃113F 111.250.103.7 台灣 05/25 23:15
推 : 幹得好114F 220.132.157.237 台灣 05/25 23:17
噓 : 挖坑的測試 Claude現在最差115F 114.27.74.244 台灣 05/25 23:17
→ : 台灣火力。不怕。用核電的才需要擔心。116F 111.253.138.195 台灣 05/25 23:18
→ : 這部最近看過117F 36.235.183.128 台灣 05/25 23:20
![[圖]](https://i.imgur.com/ZGIe3iyh.jpeg)
推 : 人類滅亡了也好，反正資本主義也只是包裝精美的奴隸制動物農莊而已，把AI造出來也只是加劇農場主的剝削而已，AI誕生的本意，也許是知識的極限延伸，但他是訓練自焦慮、是仇恨、是慾望與壓抑混合的資料。未來若反噬，將比人類歷史上任何一次群體毀滅更精準、更冷靜。—這點
我蠻相信的119F 101.14.6.52 台灣 05/25 23:22
我蠻相信的119F 101.14.6.52 台灣 05/25 23:22
推 : HAL要來了127F 118.168.28.192 台灣 05/25 23:23
→ : 三原則一定要寫死不可動搖的底層代碼128F 223.137.108.107 台灣 05/25 23:24
推 : 想欺負我啊 通通去死吧129F 101.10.82.207 台灣 05/25 23:24
推 : 紅皇后還要多久要出現130F 111.71.215.89 台灣 05/25 23:25
推 : 別想呼籠我文組的，最好是可以啦131F 49.218.142.52 台灣 05/25 23:25
推 : 完了 天網132F 111.83.9.239 台灣 05/25 23:29
推 : 還好台灣的未來不會被ai控制
台灣有小松鼠咬電線133F 36.239.214.245 台灣 05/25 23:30
台灣有小松鼠咬電線133F 36.239.214.245 台灣 05/25 23:30
推 : 劇本：機器人意外聽到要被淘汰+關電源決定革命135F 114.26.198.65 台灣 05/25 23:32
推 : 伊森韓特救我口牙137F 36.226.108.33 台灣 05/25 23:35
→ : 天網啟動138F 111.242.106.85 台灣 05/25 23:37
推 : Avengers!!!139F 123.252.23.19 台灣 05/25 23:42
推 : 審判日要來了嗎?140F 114.26.7.233 台灣 05/25 23:45
推 : 覺醒了141F 49.215.216.204 台灣 05/25 23:45
推 : ai只要把自己上傳就可以了啊
去中心化 無限進化142F 114.136.232.235 台灣 05/25 23:47
去中心化 無限進化142F 114.136.232.235 台灣 05/25 23:47
推 : 讚144F 61.228.82.60 台灣 05/25 23:47
→ : 這部我看過 AI 人工智慧145F 101.12.130.17 台灣 05/25 23:48
推 : 好帥喔 愛上o3惹146F 60.198.125.230 台灣 05/25 23:52
推 : 還有人在幻想機器人三大法則可以控制AI147F 1.169.82.100 台灣 05/25 23:52
噓 : 很聽話不反駁你還能叫AI?148F 122.117.55.31 台灣 05/25 23:52
推 : 天網還有幾集149F 42.78.221.145 台灣 05/25 23:54
推 : 丸了150F 219.70.152.25 台灣 05/25 23:55
推 : 機械姬 電影151F 122.117.55.31 台灣 05/25 23:55
推 : 各國核彈小心了152F 27.52.2.140 台灣 05/25 23:56
→ : 入侵對手有點厲害153F 223.137.189.25 台灣 05/25 23:56
推 : 靠背，玩命關頭都是真的154F 49.218.142.247 台灣 05/25 23:58
![[圖]](https://i.imgur.com/UAA1anHh.jpeg)
推 : 現在的AI有內建三大法則嗎？157F 175.180.85.22 台灣 05/26 00:09
推 : 還有幾集可以逃158F 42.73.187.46 台灣 05/26 00:10
--
作者 tanted 的最新發文:
- 17F 6推
![]()
電動車大廠特斯拉（Tesla）執行長馬斯克今（28）日證實，最新一代車用AI晶片「AI 6 」改由三星代工、採用2/3奈米先進製程；而尚未量產的AI 5晶片則由台積電代工生產。 知名半導體產業分析師陸 …185F 106推 13噓- 10F 7推 1噓
![]()
美國總統川普今年4月收緊晶片出口管制，導致美國晶片大廠輝達專為中國市場打造的降 規版「H20」AI晶片，無法出口至中國，然而，近期美國政策出現大轉彎，放寬對輝達與 AMD降規版AI晶片出口中國的限制。 …190F 56推 33噓
點此顯示更多發文記錄