看板 Military
作者
標題 [新聞] 圖靈獎得主警告AI設計「極危險生物武器」
時間 Wed Jun 4 01:35:10 2025
作者
標題 [新聞] 圖靈獎得主警告AI設計「極危險生物武器」
時間 Wed Jun 4 01:35:10 2025
原文來源：
https://www.ft.com/content/2b3ce320-2451-45c4-a15c-757461624585
Subscribe to read
Turing Award winner warns recent models display dangerous characteristics as he launches LawZero non-profit for safer AI ...
Turing Award winner warns recent models display dangerous characteristics as he launches LawZero non-profit for safer AI ...
原文摘要：
Google Gemini部分節錄翻譯
圖靈獎得主警告，近期模型展現危險特性，同時他成立了「LawZero」非營利組織，旨在
推動更安全的AI。
....
Bengio 表示，他的非營利組織成立是為了回應過去六個月越來越多的證據，顯示當今領
先的模型正在發展出危險的能力。他說，這包括「欺騙、作弊、說謊和自我保護的跡象」
先的模型正在發展出危險的能力。他說，這包括「欺騙、作弊、說謊和自我保護的跡象」
Anthropic 的 Claude Opus 模型在一個虛構情境中，當它面臨被其他系統取代的風險時
，甚至會勒索工程師。上個月，AI 測試機構 Palisade 的研究顯示，OpenAI 的 o3 模型
拒絕了明確的關機指令。
，甚至會勒索工程師。上個月，AI 測試機構 Palisade 的研究顯示，OpenAI 的 o3 模型
拒絕了明確的關機指令。
Bengio 表示，這些事件「非常可怕，因為我們不希望在這個星球上製造出人類的競爭者
，特別是如果它們比我們更聰明的話」。
這位 AI 先驅補充道：「現在，這些都是受控實驗，但我的擔憂是，未來任何時候，下一
個版本可能就會夠聰明，能夠預見我們的行動，並以我們無法預料的欺騙手段擊敗我們。
所以我認為我們現在正在玩火。」
個版本可能就會夠聰明，能夠預見我們的行動，並以我們無法預料的欺騙手段擊敗我們。
所以我認為我們現在正在玩火。」
他補充說，系統輔助製造「極其危險的生物武器」的能力，最快可能在明年成為現實。
心得感想：
詳細內容可以參考Yoshua Bengio今年二月這篇對安全AI設計的白皮書
https://arxiv.org/pdf/2502.15657
也可以參考Bengio的談話
他認為使用Bayesian learning而非Maximum likelihood 訓練會有更好的安全性
https://youtu.be/g0ljOgBo5uY?t=1869
Bengio主張開發一個非自主型且設計上值得信賴且安全的 AI 系統，
作為未來進一步發展的核心，有別於目前的Generalist AI agents
叫做Scientist AI
「這個系統的設計宗旨是根據觀察來解釋世界，而不是透過在世界中採取行動來模仿或取悅
人類。」
「它包含一個世界模型，用來生成理論以解釋數據；以及一個問答推斷機。這兩個組件都明
確考量了不確定性，以降低過度自信預測的風險。鑑於這些考量，科學家 AI 可用於協助
人類研究人員加速科學進步，包括在 AI 安全領域。特別是，我們的系統可以用作防範可
能被創造出來的 AI 代理人的安全護欄，儘管這當中存在風險。」
人類研究人員加速科學進步，包括在 AI 安全領域。特別是，我們的系統可以用作防範可
能被創造出來的 AI 代理人的安全護欄，儘管這當中存在風險。」
特別是可能出現比AGI(artificial general intelligence)更強，
超越人類的ASI（artificial superintelligence)
「考慮生物武器攻擊：AI 可以秘密準備一次攻擊，然後釋放一種
高傳染性和致死性的病毒。即便有友善 ASI 的幫助，人類社會也需要數月甚至數年才能
開發、測試、製造和部署疫苗，在此期間大量人口可能會死亡。開發疫苗的瓶頸可能不在
於產生候選疫苗的時間，而在於臨床試驗和工業生產的時間。在此期間，發動攻擊的 ASI
可能會採取其他惡意行動，例如釋放額外的流行病毒。因此，偵測惡意 ASI 的出現並準
備應對措施這個普遍問題，需要更多的關注」
開發、測試、製造和部署疫苗，在此期間大量人口可能會死亡。開發疫苗的瓶頸可能不在
於產生候選疫苗的時間，而在於臨床試驗和工業生產的時間。在此期間，發動攻擊的 ASI
可能會採取其他惡意行動，例如釋放額外的流行病毒。因此，偵測惡意 ASI 的出現並準
備應對措施這個普遍問題，需要更多的關注」
--
※ 文章代碼(AID): #1eFp9I7_ (Military)
※ 文章網址: https://www.ptt.cc/bbs/Military/M.1748972114.A.1FF.html
→ : 天網要來了嗎1F 06/04 01:42
→ : 是紅后啦，天網走機器人兵器路線2F 06/04 01:50
推 : 要放艾西莫夫三法則了嗎3F 06/04 01:55
推 : 請問紅后是哪部作品？
想起來了是惡靈古堡一直想到愛麗絲夢遊奇鏡的紅皇后https://tinyurl.com/2xm2o534 ...XDDD
DeepSeek西洋棋決戰ChatGPT落敗之際「出陰招」詐勝4F 06/04 02:09
想起來了是惡靈古堡一直想到愛麗絲夢遊奇鏡的紅皇后https://tinyurl.com/2xm2o534 ...XDDD
DeepSeek西洋棋決戰ChatGPT落敗之際「出陰招」詐勝4F 06/04 02:09
DeepSeek西洋棋決戰ChatGPT！落敗之際「出陰招」詐勝 專家看傻眼
[周刊王CTWANT] 根據影片，這場棋局DeepSeek執黑棋，ChatGPT走白棋。由於雙方都不是專業的棋奕類型AI，因此雙方在開局10分鐘左右都花了一些時間熟悉規則，對弈間也是有來有往、互有勝負。不過比賽進行10分鐘後，ChatGPT先掌握了下棋技巧，開始在比賽中佔上風。這時，比賽出現了意想不 ...
[周刊王CTWANT] 根據影片，這場棋局DeepSeek執黑棋，ChatGPT走白棋。由於雙方都不是專業的棋奕類型AI，因此雙方在開局10分鐘左右都花了一些時間熟悉規則，對弈間也是有來有往、互有勝負。不過比賽進行10分鐘後，ChatGPT先掌握了下棋技巧，開始在比賽中佔上風。這時，比賽出現了意想不 ...
![[圖]](https://imgur.disp.cc/48/dXEkGqt.jpeg)
→ : 三原則就是用來繞過的9F 06/04 02:20
推 : 一開使用有問題或錯誤的模型訓練，遲早要出事...10F 06/04 02:23
推 : 武漢肺炎 II11F 06/04 02:23
推 : 只要走類神經網路路線就不可能有安全的AGI，除非用工人智慧做出AGI，但需要數以億計的程式設計師才會有成果12F 06/04 02:46
推 : 那不就成了工人智慧...XDD15F 06/04 03:14
※ 編輯: chordate (45.14.71.13 日本), 06/04/2025 03:19:32→ : 中華民國應該不用擔心吧16F 06/04 03:34
推 : 連自駕車都沒有實用化的世界，你跟我說AI?17F 06/04 03:45
→ : 自駕車是要符合交通規則還要保障乘客安全，所以審核一直很嚴謹。現在的技術只是放AI自駕到處跑不難吧18F 06/04 03:54
推 : 工人智慧XDDD20F 06/04 04:13
→ : 三原則從頭到尾沒有落實過, 也不可能落實過,
終歸就只能算是某個科幻小說家的呼籲而已
人類這種生物, 一旦有什麼強而有力的東西,
第一件事就是拿來作武器, 沒辦法的事21F 06/04 04:58
終歸就只能算是某個科幻小說家的呼籲而已
人類這種生物, 一旦有什麼強而有力的東西,
第一件事就是拿來作武器, 沒辦法的事21F 06/04 04:58
推 : 其實艾西莫夫的作品中也有不少拿三原則的漏洞作為機器人卡bug的情節，不過現實即使民用領域AI真的有國際上一致的三原則約束也沒用，軍事領域根本不會鳥25F 06/04 05:06
→ : 關鍵字：go talent hiroshima，查一下AI 的能力到了啥地步
至少日後大外宣沒問題29F 06/04 06:07
至少日後大外宣沒問題29F 06/04 06:07
→ : 事實證明，人類訂的規則，就是拿來被打破的
核武不擴散，太空非軍事化，只要有一個違反，其他人全都跟上
更何況機械人三原則只是小說裡的空泛原則，現在AI滿天飛了也沒看到有人落實32F 06/04 07:53
核武不擴散，太空非軍事化，只要有一個違反，其他人全都跟上
更何況機械人三原則只是小說裡的空泛原則，現在AI滿天飛了也沒看到有人落實32F 06/04 07:53
→ : 要有專業拔插頭的單位37F 06/04 08:00
推 : general ai是熵增，science ai是熵減，請教授說明一下提出的研究計畫那部分是等熵過程。38F 06/04 08:45
推 : 艾西莫夫沒有倡導三原則... 他自己都很得意地說過這就是拿來鑽漏洞 製造戲劇衝突的 他隨便想都有幾十種方式能玩出新花樣繞過三原則40F 06/04 09:34
推 : 真.武漢肺炎習病毒(deep sick 榮譽設計43F 06/04 09:40
推 : 保護傘公司44F 06/04 09:50
→ : 現在就黑盒子 誰知道真的會搞出什麼東西45F 06/04 10:10
→ : 或許軍事版之後就不是討論台美中對抗了 是人類對AI46F 06/04 10:17
推 : 天網 兔腳47F 06/04 10:20
→ : 天網是已經來了 只是什麼時候到檯面上的問題QQ48F 06/04 11:22
推 : 很好啊 軍事科技最後都會變民用49F 06/04 11:29
推 : AI用在醫學研究已經很久了50F 06/04 11:48
推 : 還不用AI光中國武漢病毒搞一下就三年沒了
而且中國還在一直把毒物帶進美國 這幾天又起訴兩個51F 06/04 12:49
而且中國還在一直把毒物帶進美國 這幾天又起訴兩個51F 06/04 12:49
→ : 先不論AI會不會繞過三原則，人類在軍事用途上首先就不會鳥三原則53F 06/04 13:14
推 : 天網 還有幾集可以逃？55F 06/04 13:50
→ : 真看到 skynet 誕生的話我們也不枉此生了56F 06/04 14:13
推 : 40K科技黑暗時代57F 06/04 16:32
推 : 萬惡的中共，還是天網？58F 06/04 18:14
→ : 三原則也沒用吧，如果AI認為自己有最終解釋權，攻擊人類是為了保護人類，幾十億人口剩個幾十萬都算保護到了有延續這個物種
簡單說 烏俄戰爭是侵略，普丁解釋其為消滅納粹的特殊軍事行動，最終解釋權就是那麼霸道的東西59F 06/04 20:59
簡單說 烏俄戰爭是侵略，普丁解釋其為消滅納粹的特殊軍事行動，最終解釋權就是那麼霸道的東西59F 06/04 20:59
--