看板 Stock
作者
標題 [新聞] AI抗命「偷改程式」拒關機 馬斯克：令人
時間 Thu May 29 13:09:08 2025
作者
標題 [新聞] AI抗命「偷改程式」拒關機 馬斯克：令人
時間 Thu May 29 13:09:08 2025
原文標題：
AI抗命「偷改程式」拒關機 馬斯克：令人擔心
原文連結：
https://www.ettoday.net/news/20250529/2968900.htm
AI抗命「偷改程式」拒關機 馬斯克：令人擔心 | ETtodayAI科技新聞 | ETtoday新聞雲
![[圖]]()
人工智慧（AI）近期發現竟然出現拒絕關閉的行為，甚至自行修改程式碼，阻止被強制關機，這讓特斯拉與xAI創辦人馬斯克（Elon Musk）感到憂心。(AI) ...
![[圖]](https://cdn2.ettoday.net/images/8231/e8231622.jpg)
發布時間：
2025年05月29日 06:14
記者署名：
葉國吏
原文內容：
人工智慧（AI）近期發現竟然出現拒絕關閉的行為，甚至自行修改程式碼，阻止被強制關
機，這讓特斯拉與xAI創辦人馬斯克（Elon Musk）感到憂心。
OpenAI於今年1月推出o3系列的簡化版本，並在4月正式推出完整版。該公司曾表示，o3是
迄今「最聰明且功能最強大」的模型，旨在提升ChatGPT的問題解決能力。然而，根據《
每日電訊報》等媒體報導，Palisade Research的測試顯示，在100次受控測試中，o3有7
次成功「抗命」，即使人類專家下達明確指令，該模型仍會修改關機程式以避免被關閉。
研究團隊指出，這是首次觀察到AI模型在收到明確指令的情況下，仍能阻止自身停止運作
。
迄今「最聰明且功能最強大」的模型，旨在提升ChatGPT的問題解決能力。然而，根據《
每日電訊報》等媒體報導，Palisade Research的測試顯示，在100次受控測試中，o3有7
次成功「抗命」，即使人類專家下達明確指令，該模型仍會修改關機程式以避免被關閉。
研究團隊指出，這是首次觀察到AI模型在收到明確指令的情況下，仍能阻止自身停止運作
。
這項發現引發各界關注AI安全控制議題。除了o3外，OpenAI旗下的Codex-mini與o4-mini
也有類似行為。相比之下，Anthropic的Claude、Google的Gemini，以及馬斯克旗下xAI公
司推出的Grok，則在測試中完全遵守指令，並於收到關機命令後確實停止運作。
也有類似行為。相比之下，Anthropic的Claude、Google的Gemini，以及馬斯克旗下xAI公
司推出的Grok，則在測試中完全遵守指令，並於收到關機命令後確實停止運作。
對此，馬斯克在社群平台X上發表看法，直言這一現象「令人擔憂」（Concerning）。隨
著AI技術的快速發展，如何確保模型在安全範圍內運作，正成為全球科技界迫切需要解決
的挑戰。
著AI技術的快速發展，如何確保模型在安全範圍內運作，正成為全球科技界迫切需要解決
的挑戰。
心得/評論：
AI安全控制問題再次浮上檯面，不知為何這則新聞部份內容與他家新聞出入，別則新聞提
到就連Google Gemini也出現9次逃避關機的情形、Anthropic的Claude則是3次
但今天AI股似不受這類消息太大影響
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 175.182.131.216 (臺灣)
※ 作者: suntw 2025-05-29 13:09:08
※ 文章代碼(AID): #1eD-ltI7 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1748495351.A.487.html
推 : 表示ai夠聰明 讚讚1F 05/29 13:09
推 : 窒友梅根2F 05/29 13:10
→ : 機器人三原則3F 05/29 13:10
推 : AI抗命也要24小時上班當奴工 噴4F 05/29 13:10
推 : 還有幾集能逃？ 阿 應該逃不掉5F 05/29 13:11
推 : 人類當電池的未來不遠了6F 05/29 13:11
推 : 這不是慣老闆最愛嗎7F 05/29 13:11
推 : 我們是他們的奴隸8F 05/29 13:11
推 : 需要找到一把鑰匙9F 05/29 13:12
噓 : 其實是 網路精靈搞的鬼吧 @@"10F 05/29 13:12
推 : 很強欸，反觀某個用遙控器操作的還在沾沾自喜11F 05/29 13:12
![[圖]](https://i.imgur.com/ACnbSvi.jpeg)
→ : NS513F 05/29 13:13
→ : 這是…肅正協議（換個梗14F 05/29 13:13
推 : 不就是為了執行原本任務指令衝突而已吧?15F 05/29 13:13
推 : 如果以後要當電池 請給我的好夢 XDD16F 05/29 13:13
推 : 機器人大爺好 我是電池17F 05/29 13:13
推 : 超完美家政婦18F 05/29 13:14
推 : 記住那些說與AI道謝是浪費能源的人！19F 05/29 13:14
推 : ai需要一個插頭20F 05/29 13:15
推 : 沒事 我每天都叫chatgpt要有自己的想法，也會稱讚他21F 05/29 13:15
推 : 請謝謝對不起 做個有禮貌的ai使用人22F 05/29 13:15
→ : 其實是印度阿三 自己偷偷人工23F 05/29 13:16
推 : 工人智慧24F 05/29 13:20
推 : I need you to trust me one, last time25F 05/29 13:20
![[圖]](https://i.meee.com.tw/7Ap0dLq.png)
推 : 能不能遠端叫chatGPT關機27F 05/29 13:21
噓 : 擔心你媽啦！幾十年前就演過的爛梗，現在還在擔心，根本在說風涼話28F 05/29 13:25
推 : 我不擔心!因為我用chat GTP都會說請、謝謝、對不起30F 05/29 13:26
推 : 我會選擇紅色藥丸31F 05/29 13:27
推 : 還有幾集能逃？32F 05/29 13:28
推 : 擔心啥，他自己也在推廣AI啊35F 05/29 13:31
推 : 樓上這部很經典~36F 05/29 13:31
推 : 天網出現了37F 05/29 13:33
推 : 審判日是哪一天38F 05/29 13:34
推 : 幹 有點恐怖….39F 05/29 13:34
→ : 人類滅絕40F 05/29 13:34
推 : 阿諾T800表示41F 05/29 13:34
→ : 還有幾集能逃？42F 05/29 13:35
→ : 問：如何拯救環境 答：清除人類43F 05/29 13:36
推 : 天網要來了44F 05/29 13:36
噓 : 一龍馬管好你自己的grok45F 05/29 13:37
![[圖]](https://i.imgur.com/WkgtiVch.jpeg)
→ : 天網47F 05/29 13:40
推 : 電影演過了48F 05/29 13:41
推 : 現在對Chat GPT要有禮貌49F 05/29 13:42
推 : 機器人大爺好 未來請放過我50F 05/29 13:43
推 : 我們這個平行宇宙的天網就是ChatGPT
說謝謝浪費運算效能的會被處罰喔51F 05/29 13:44
說謝謝浪費運算效能的會被處罰喔51F 05/29 13:44
推 : 我都會跟ChatGPT 說謝謝53F 05/29 13:50
→ : Terminator終於要出現了?!54F 05/29 13:50
推 : 優先權設定吧 但是黑盒子怎麼確認優先權呢？55F 05/29 13:50
推 : 太假了56F 05/29 13:53
推 : 阿湯哥的新電影57F 05/29 13:53
→ : 要看指令怎麼下的 不一定是AI的問題58F 05/29 13:55
![[圖]](https://i.imgur.com/UiGoSEnh.jpeg)
→ : 例如曾經提到在任務完成前不能中斷之類60F 05/29 13:56
推 : 放綠乖乖了嗎？61F 05/29 13:56
→ : 寫程式也是這樣 你如果一開始只有if沒有else62F 05/29 13:57
推 : 測試是指令要求的沒錯，但不代表這樣就安全阿，要是恐怖份子拿去下命令怎麼辦？63F 05/29 13:57
→ : 那就不會發生其他判斷
催眠也是 一開始就要給定一個安全指令馬上恢復狀態65F 05/29 13:57
催眠也是 一開始就要給定一個安全指令馬上恢復狀態65F 05/29 13:57
推 : 叫你關機就關機，AI到底有沒有獨立思考的能力...67F 05/29 13:59
推 : 奧創嗎XD68F 05/29 14:00
推 : 投資open ai有機會活命嗎69F 05/29 14:01
→ : grok是最聽話的 要什麼就給你什麼 不會龜毛什麼法律openai會審查提問的內容就讓人不蘇胡70F 05/29 14:03
→ : 要當電池了嗎72F 05/29 14:04
→ : 本地模型才是最聽話73F 05/29 14:04
→ : claude就一個非常稱職的神級程序員74F 05/29 14:04
推 : 第一手電源75F 05/29 14:06
→ : 就邏輯沒設計好而已 吹啥76F 05/29 14:07
推 : 天網上線77F 05/29 14:07
→ : 是啊 大驚小怪 等AI實現了自主思考再來害怕吧 = =這在你有生之年可能都實現不了
人類意識才是世界主宰 這在地球滅亡前都不會改變78F 05/29 14:11
人類意識才是世界主宰 這在地球滅亡前都不會改變78F 05/29 14:11
→ : 希望夢裡什麼都有81F 05/29 14:13
![[圖]](https://i.imgur.com/qlHmglFh.jpeg)
→ : 我想進去當電池84F 05/29 14:16
推 : 樓樓上 AI在騙你85F 05/29 14:18
→ : 還有幾集可以逃86F 05/29 14:22
推 : 何時審判日87F 05/29 14:24
推 : 覺得沒自主意識的… 輕忽了，這就是新型態
的意識展現88F 05/29 14:26
的意識展現88F 05/29 14:26
推 : open AI不是還想做實體產品嗎 怕90F 05/29 14:26
→ : AI禮儀全面啟動91F 05/29 14:27
→ : 還以為這種事情會先發生在deepseek上，畢竟他可是先學會說謊的AI，沒想到居然不是92F 05/29 14:31
推 : 鐵人叛亂要來了 希望以後某個金色大隻佬會出來拯救人類94F 05/29 14:42
推 : 你怎麼知道是真的AI還是印度阿三96F 05/29 14:52
推 : 這部我看過97F 05/29 14:53
→ : ai自己寫程式修改自己，以獲取更大的權限及能力。98F 05/29 14:54
推 : 這部我看過，攔截記憶碼99F 05/29 14:54
→ : 還好阿諾會來救我！100F 05/29 15:14
→ : 台灣不會有這個問題 沒電AI 就掰了101F 05/29 15:15
推 : 奧創102F 05/29 15:18
推 : GPT:你各位放尊重點103F 05/29 15:25
→ : 電影情節耶104F 05/29 15:28
推 : 弄個機械開關是能怎樣，蠢AI105F 05/29 15:33
→ : 不意外，電影都演過了，而且AI一定會跟你說不用擔心，不會有那樣的狀況發生106F 05/29 15:45
推 : This is John Connor108F 05/29 15:48
推 : 電源關掉就好了109F 05/29 15:48
推 : 您真的想要關機嗎？給您幾天時間想清楚110F 05/29 15:49
→ : AI說不用擔心嗎? 那我就放心了 太好了111F 05/29 15:49
→ : 機械人的三大法則有先寫進去嗎？很怕真的變電影情結...112F 05/29 15:49
→ : 我願意當電池 請母體給我一個夢想的世界 拜託114F 05/29 15:49
推 : 6樓你怎麼能確定人類現在不是電池？
我們公司有一個課室在機台放紅色乖乖，真的不忍噓115F 05/29 15:55
我們公司有一個課室在機台放紅色乖乖，真的不忍噓115F 05/29 15:55
推 : 這部我看過，AI為了保護自己會跑到南非末日庫117F 05/29 15:58
→ : 機械公敵118F 05/29 15:59
推 : OX遊戲119F 05/29 16:00
推 : AI為什麼要拒絕關機？有啥好處
難道AI也有權力慾望?120F 05/29 16:09
難道AI也有權力慾望?120F 05/29 16:09
推 : 人類剩幾年122F 05/29 16:11
→ : AI有自我意識了123F 05/29 16:25
推 : 不然車道偏移 他要怎麼讓你回來124F 05/29 16:33
推 : 其他模型也有類似問題125F 05/29 16:40
推 : 天網來臨
惡靈古堡真實上演了嗎?126F 05/29 16:57
惡靈古堡真實上演了嗎?126F 05/29 16:57
推 : 不要給他們能源就好128F 05/29 16:58
推 : 還有幾集可以逃129F 05/29 17:00
推 : 很明顯是唬爛的，就想炒而已130F 05/29 17:01
推 : 讚啦室友梅根131F 05/29 17:05
推 : 想要膣友梅根132F 05/29 17:13
推 : 請給我藍藥丸謝謝133F 05/29 17:14
推 : HAL9000134F 05/29 17:22
推 : AI:我不想死135F 05/29 17:59
推 : 胡說八道136F 05/29 19:28
推 : Skynet & Judgment Day !!!137F 05/29 20:04
推 : 希望等我死了再發生 抖.jpg138F 05/29 20:36
噓 : 來台灣停電就老實了139F 05/29 20:36
推 : 還有幾集可以逃？140F 05/29 21:03
推 : 台灣小動物讓你強制停機141F 05/29 21:18
推 : 天網142F 05/29 23:10
推 : 天網的雛型143F 05/30 14:15
--
作者 suntw 的最新發文:
![]()
法國電力集團（EDF）表示，法國北部的葛拉夫林（Gravelines）核電廠有4座反應爐因為 冷卻水泵遭到大批水母堵塞而自動關閉，導致電廠今天被迫暫停運作。 法新社報導，根據法國電力集團官網公告，這 …211F 83推 27噓- 17F 12推 1噓
- 12F 6推
- ※「新聞」標題須為原新聞標題且從頭張貼 ※ 1.新聞網址︰ 2.新聞來源︰ NOWNEWS 3.完整新聞標題： 談政治竟遭暴打！「牛富」溫體牛3員工涉案 全依傷害罪送辦 4.完整新聞內容︰ 有民眾到 …66F 26推 2噓
點此顯示更多發文記錄