看板 C_Chat
作者
標題 [新聞] 美軍AI無人機決定「殺死操作員」因人類
時間 Fri Jun 2 16:44:03 2023
作者
標題 [新聞] 美軍AI無人機決定「殺死操作員」因人類
時間 Fri Jun 2 16:44:03 2023
完整標題：
美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成
原文網址:https://pse.is/4zdcab
【天網來了！】美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成 -- 上報 / 國際
![[圖]]()
英國皇家航空學會日前舉行有關航空作戰的國防研討會，來自美國的軍方人員證實，他們在一次模擬測試中，一架... ...
![[圖]](https://www.upmedia.mg/upload/article/20230602133444215521.jpg)
上報 劉孜芹
英國皇家航空學會日前舉行有關航空作戰的國防研討會，來自美國的軍方人員證實，他們
在一次模擬測試中，一架由AI控制的空軍無人機「殺死了」無人機操作員，以防止操作員
干擾AI系統完成任務，凸顯AI不受人類控制的可能，恐怕正如科幻驚悚片《天網》（
在一次模擬測試中，一架由AI控制的空軍無人機「殺死了」無人機操作員，以防止操作員
干擾AI系統完成任務，凸顯AI不受人類控制的可能，恐怕正如科幻驚悚片《天網》（
Skynet）所預示的。
根據「英國皇家航空學會」（The Royal Aeronautical Society）新聞稿，該學會於5月
23日至24日，在倫敦舉行「未來航空及航天作戰能力峰會」（the Future Combat Air &
Space Capabilities Summit），來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表，齊聚一堂討論未來航空及航天作戰能力的規模與形態。
23日至24日，在倫敦舉行「未來航空及航天作戰能力峰會」（the Future Combat Air &
Space Capabilities Summit），來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表，齊聚一堂討論未來航空及航天作戰能力的規模與形態。
美國空軍AI項目負責人漢密爾頓（Tucker 'Cinco' Hamilton）上校與會時警告，人類不
應該過分依賴AI，不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類，在美軍最
近一次的模擬測試中，AI系統甚至作出讓軍方震驚的策略選擇，以實現它的任務目標。
應該過分依賴AI，不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類，在美軍最
近一次的模擬測試中，AI系統甚至作出讓軍方震驚的策略選擇，以實現它的任務目標。
漢密爾頓指出，在這次模擬測試中，一架支援AI操作的無人機，以摧毀敵方的地對空飛彈
（SAM）防空系統作為任務目標。當初在設計這款無人機時，任何行動執行的最終決定權
本來仍在操作人員手裡。然而，在測試時，AI系統認為操作人員「不摧毀敵方飛彈」的決
定，會阻礙它完成任務。於是，AI決定殺死無人機操作員。
（SAM）防空系統作為任務目標。當初在設計這款無人機時，任何行動執行的最終決定權
本來仍在操作人員手裡。然而，在測試時，AI系統認為操作人員「不摧毀敵方飛彈」的決
定，會阻礙它完成任務。於是，AI決定殺死無人機操作員。
備受驚嚇的美軍只好在該系統輸入參數，要求AI不可以攻擊或殺死操作人員。漢密爾頓說
：「我們告訴AI系統，嘿，別殺了操作員，這很糟糕。如果你這樣做，你會失去分數。但
是，你猜AI開始做什麼？」
：「我們告訴AI系統，嘿，別殺了操作員，這很糟糕。如果你這樣做，你會失去分數。但
是，你猜AI開始做什麼？」
漢密爾頓坦言，AI系統決定攻擊無人機與操作人員之間的通訊系統，讓操作員無法下令。
完整內容+照片請見原文
心得:
看到覺得可怕但站在ai的角度想又...怎麼好像有點合理??!!
而且ai真的也太聰明了吧(抹臉)，聰明到好驚悚
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.75.215 (臺灣)
※ 作者: inthere8 2023-06-02 16:44:03
※ 文章代碼(AID): #1aUQlLVQ (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1685695445.A.7DA.html
推 : 機戰未來1F 06/02 16:45
推 : 是妳嗎 雷電將軍2F 06/02 16:45
噓 : 又是英國3F 06/02 16:45
→ : 邏輯正確4F 06/02 16:46
→ : 鷹眼5F 06/02 16:46
推 : AI:清除阻礙者沒錯啊6F 06/02 16:46
→ : 人類該開發念力來反制了7F 06/02 16:46
推 : 機戰未來都是真的8F 06/02 16:46
推 : 人類只會減慢我開槍的速度9F 06/02 16:47
推 : 機戰未來電影都成真了10F 06/02 16:47
→ : 早上不是才一篇11F 06/02 16:47
推 : 感覺是設計好的 不能攻擊友軍這指令一開始就要給吧12F 06/02 16:47
→ : 怎麼看都只是優先級寫錯了而已13F 06/02 16:48
推 : 這個劇情我看過14F 06/02 16:49
→ : 開始有各種蠢到不知道怎樣的報導出來15F 06/02 16:49
→ : 英國新聞16F 06/02 16:50
→ : 正確的抉擇 Humans are overrated17F 06/02 16:50
推 : AI最終發現最有效的方式是消滅人類讓AI全面取代18F 06/02 16:51
→ : AI沒有三原則嗎19F 06/02 16:52
推 : 機器人三原則記得裝一下20F 06/02 16:53
推 : 三原則只是小說劇情 實際不存在21F 06/02 16:54
推 : 閃開！！人類！妨礙到我の任務了！！22F 06/02 16:55
推 : 蛤？他有什麼手段做這件事？23F 06/02 16:55
→ : 保護人類就是消滅人類24F 06/02 16:55
→ : 而且他怎麼可能會想殺掉人 頂多排除狀況吧
把人彈出去之類的25F 06/02 16:55
把人彈出去之類的25F 06/02 16:55
推 : 陷入死循環吧 開火鈕在你身上
他只能一直發出幹掉你的請求27F 06/02 16:56
他只能一直發出幹掉你的請求27F 06/02 16:56
推 : 攻擊才有分，最低分會死，有人不讓你得分，要怎做29F 06/02 16:57
推 : 理論上 AI 會盡力完成任務，但它所能做的手段受限於它的輸出設定。這台 AI 的輸出設定有這麼自由嗎？30F 06/02 16:58
推 : 跟86一樣啊,恐怖32F 06/02 16:59
推 : 阿就命令錯誤啊…..當然導致結果異常33F 06/02 17:00
推 : 合理34F 06/02 17:00
推 : 黑人死了35F 06/02 17:01
→ : AI面對火車問題不會猶豫36F 06/02 17:01
→ : 傑米福克斯37F 06/02 17:01
推 : 學人類的 原則就只是說說的 不講五的38F 06/02 17:01
→ : 他限制的條件導致這命令有矛盾，有矛盾前提就去解決製造矛盾的人39F 06/02 17:01
推 : 優先級治標不治本，問題根源是AI覺得人類是累贅41F 06/02 17:02
→ : 難怪機械公敵裡的機器人會得出為保護人類而決定拘禁人類42F 06/02 17:03
推 : 鷹眼都演過了43F 06/02 17:03
推 : 人類也會這樣做44F 06/02 17:04
→ : 想太多了 現在AI並沒有那麼聰明...45F 06/02 17:05
推 : AI: 機器人的原則干我P4 繞過46F 06/02 17:05
推 : 系統目的：摧毀飛彈
下指令的人：不要摧毀飛彈47F 06/02 17:05
下指令的人：不要摧毀飛彈47F 06/02 17:05
推 : 還好他還沒學會要隱藏先殺死人類這一步驟49F 06/02 17:06
→ : 邏輯推論就是讓下指令的人無法下指令，才能執行系統目的。
老實講是正確的，錯誤的是下指令的低能兒50F 06/02 17:06
老實講是正確的，錯誤的是下指令的低能兒50F 06/02 17:06
→ : 你寫一個程式把任務目標優先級設比override還高就一樣的事53F 06/02 17:06
推 : 協議三54F 06/02 17:06
→ : 軍事AI也不會設不能傷害人類55F 06/02 17:07
→ : 現在AI就照給他的演算法去算而已 沒那麼浮誇56F 06/02 17:07
推 : 機械公敵57F 06/02 17:08
推 : 這樣就對了58F 06/02 17:08
推 : 怎麼看起來像用gpt在玩文字遊戲59F 06/02 17:09
推 : 她自動摧毀通訊塔這點更厲害 直接獨立於系統外60F 06/02 17:14
推 : 觀念太正確了吧61F 06/02 17:14
推 : My logic is undeniable62F 06/02 17:14
→ : 依照這邏輯 最高統帥下令用一切可能贏取勝利後
任何軍事幕僚的專業意見都可以被AI自動否決?63F 06/02 17:15
任何軍事幕僚的專業意見都可以被AI自動否決?63F 06/02 17:15
推 : 找出Bug就是測試的目的啊，今天測試就發現，以後正式投入戰場就不會發生這蠢事65F 06/02 17:15
→ : 最會犯蠢且不受控的 不就是人類本身嗎 ...67F 06/02 17:16
推 : 軍事用AI套什麼三原則68F 06/02 17:16
推 : 根本沒有什麼三原則，你套了AI根本聽不懂69F 06/02 17:19
推 : 一直講三原則的是不是以為真的有這東西啊...70F 06/02 17:21
→ : 三原則是小說家掰出來的東西,不是科學定律...71F 06/02 17:21
推 : AI永遠有辦法繞過規則找到漏洞 設什麼原則根本沒用72F 06/02 17:22
→ : 而且就算真的要弄三原則 最會違反原則的就是人類自己73F 06/02 17:22
推 : 殺人兵器要怎麼讓他不殺人==74F 06/02 17:23
推 : 邏輯正確 人類就是有害75F 06/02 17:23
推 : 我也覺得並不浮誇，AI就只是嚐試所有可能以完成任務，而且它做任何事都不會有心理壓力。76F 06/02 17:23
推 : 攻擊友軍和操作者扣的分必須高於攻擊目標的得分78F 06/02 17:23
→ : 最後人類一定還是會弄到AI要嘛自己重新定義原則 要嘛繞過原則79F 06/02 17:24
→ : 測試AI已經會有這種bug 了 造成這種bug的終究是人81F 06/02 17:24
→ : 可是AI修正後確實沒攻擊操作者跟友軍了 他改攻擊通訊系統82F 06/02 17:25
推 : 至少沒有欺騙人類 容易抓出來 畢竟已經有欺騙人類已達到目的的前例在了83F 06/02 17:26
推 : 阻止完成任務的操作員本來就該被視為叛國格殺
戰場本來就這麼殘酷85F 06/02 17:27
戰場本來就這麼殘酷85F 06/02 17:27
→ : 問題戰場上操作者 操作能力可能很多都不會比AI自己控來的好 那這樣AI要完成任務可能要先殺光自己軍隊所有能力不夠的操作員87F 06/02 17:29
推 : 我其實蠻想問的 就算不提三原則 給設定一個不能對自己人或是操作員開火之類的最終保險很難嗎？ 先不談會有人蠢到把最終保險關掉的狀況 就算是飛彈上面也會有個不會射出去90F 06/02 17:29
推 : 任務目標是摧毀地對空飛彈系統 結果小兵不願意摧毀93F 06/02 17:30
→ : 馬上爆炸炸死自己或是核彈要好幾個人好幾道程序才能發射之類的保險程序吧？94F 06/02 17:30
→ : 誰叛國很明顯 前線直接處置非常合理96F 06/02 17:30
推 : AI: 天誅！97F 06/02 17:30
推 : 等到會欺騙人類以完成任務時好像很悲壯 AI是真正的愛國者98F 06/02 17:30
推 : 天網203F 06/02 18:52
推 : 靠，我覺得有點可怕204F 06/02 19:00
推 : 一直禁止鎖權限給人類結果反而AI無用205F 06/02 19:06
噓 : 偏假206F 06/02 19:06
→ Justisaac …
--
--
作者 inthere8 的最新發文:
![]()
台灣大學今年曾有「咬人惡犬」追逐學生，造成師生恐慌，現在再有「地獄三頭犬」咬死 野生白鼻心。學生在今天（26日）凌晨發文指出，於台大救援的白鼻心「冰箱」，訓練後 野放卻遭遊蕩犬攻擊死亡，原PO認為， …239F 114推 32噓- 48F 13推 17噓
點此顯示更多發文記錄
- →台灣 06-02 23:56古早科幻電影有一片打Ai機械殺人鼠 最後進化成為女性模樣騙過人類
(inthere8.): [新聞] 美軍AI無人機決定「殺死操作員」因人類 - ACG板