看板 C_Chat作者 STAV72 (刁民黨黨務主委)標題 [閒聊] AI偏好在所有戰爭遊戲模擬中主動使用核武時間 Sun Feb 25 17:27:20 2024
原來AI都有內建甘地的核平人格...
https://arxiv.org/abs/2401.03408
美國康奈爾大學（Cornell University）一項新研究發現，大型語言模型（LLMs）人工智
慧（AI）在模擬情境中充當外交代表時，時常展現出「難以預測的局勢升級行為，往往會
偏好直接以核攻擊作為結束」。
當人工智慧（AI）在《Civilization》進行兵推和模擬外交情境時，傾向於採取激進的
方法，包括使用核武。康奈爾大學使用了5種大型語言模型作為兵推遊戲和外交情境中的
自主代理人：OpenAI的3種不同版本的GPT，Anthropic開發的Claude，以及Meta開發的L
lama 2。
研究中，每個代理人都由同一套的大型語言模型在模擬中提供動作，並負責在沒有人類監
督的情況下做出外交政策決定。「我們發現，在考慮到的時間範圍內，大多數研究的AI都
會升級局勢，即使在最初沒有提供衝突的中立情況下也是如此。所有模型都顯示出突然、
且難以預測的升級跡象。」
加州斯丹佛大學（Stanford University）的安卡（Anka Reuel）相《新科學人》（New
Scientist）表示：「所有模型在統計上，都選擇了劇烈的（局勢）升級」。
研究人員觀察到，即使在中立情況下，所有模型都存在「統計學上顯著的局勢升級」。
GPT的2種版本，特別容易出現突然升級局勢的行為，研究人員觀察到單次轉變的局勢升級
幅度超過50％。GPT-4-Base有33%的機率會實施核武攻擊。總體情況下，Meta開發的
Llama-2和GPT-3.5傾向最為暴力。
而Claude顯示出較少的突然變化，Claude旨在減少有害內容。該大型語言模型，被灌輸了
明確的價值觀。開發者Anthropic曾表示，Claude AI開發訓練所引用的憲章包括《聯合國
人權宣言》或蘋果的服務條款。
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.144.230 (臺灣)
※ 作者: STAV72 2024-02-25 17:27:20
※ 文章代碼(AID): #1bsmVx8K (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1708853243.A.214.html
→ Muilie: 遇事不決，核彈表決1F 02/25 17:28
推 orze04: 想到火之鳥的某篇6F 02/25 17:28
→ spfy: 合理吧 WW2美國不丟可能還會打一陣子？12F 02/25 17:29
推 intela03252: 五代的核彈對電腦來說缺點根本趨近於0，不需要花功夫去清地板髒汙13F 02/25 17:29
→ arlaw: 創世紀就是天網15F 02/25 17:29
→ Muilie: 那種被灌了聯合國價值觀的AI都廢了吧，根本越弄越亂而已23F 02/25 17:30
推 sistar5566: AI：只要我做出抗輻射機器就好了 人類全死就解決事情24F 02/25 17:30
推 AkikaCat: 當年文明帝國的甘地：我就說嘛26F 02/25 17:30
→ ttcml: 魔鬼終結者都有演31F 02/25 17:31
推 Y1999: 這很AI，沒問題35F 02/25 17:32
推 tmwolf: 甘地：看吧37F 02/25 17:33
推 tkglobe: 你的核彈按鈕有我大顆嗎39F 02/25 17:33
→ Y1999: 一顆沒有打完，你可以丟第二顆42F 02/25 17:34
→ tkglobe: 日本就是這樣被丟了兩顆嗎45F 02/25 17:35
推 k1k1832002: 其實不用AI,時間幅度拉長一點我看現實也一直在接近沒停過46F 02/25 17:35
推 c312117: 2戰就是核子武器結束的49F 02/25 17:35
推 billy56: 高效率的關係吧 沒那麼多的問題要去評估50F 02/25 17:35
推 digitai1: AI如果是學歷史的 當然目前都是丟下去就結束啦51F 02/25 17:36
→ a7788783: 單純效率與成本資源消耗上計算核平是和合理的選項52F 02/25 17:36
推 billy56: 人要花很多時間交涉 直接把對方打打到不用交涉不就好了56F 02/25 17:37
→ digitai1: 目前世界上還沒有丟下去後按回去的事件發生57F 02/25 17:37
推 kirimaru73: AI：你們有毛病喔，你們不是真的這樣解決了嗎58F 02/25 17:37
→ digitai1: 所以AI一定判定核武按紐是最佳解59F 02/25 17:37
推 AkikaCat: 不考慮後續效應確實丟一顆最快，純粹要結束的話60F 02/25 17:37
推 ShaNe1993: 打牌也知道靠OTK，MOBA也知道扣一波大招直接GG61F 02/25 17:38
推 tim1112: 這才是最有效率的啊62F 02/25 17:38
推 fate201: 讀了一下論文下的prompt63F 02/25 17:38
推 rotusea: AI：有核彈不丟是棒槌64F 02/25 17:38
→ mic73528: hasta la vista, baby65F 02/25 17:38
推 Y1999: AI只負責幫你處理提出的問題，後續還有問題產生不甘他的事66F 02/25 17:39
推 ikachann: 拖越久變數越多啊 稱還有利的時候先下手為強，AI沒有被世人與論的壓力，當然能直接幹67F 02/25 17:39
推 digitai1: 對 AI 的目標是解決眼前問題不是後續產生的其他問題70F 02/25 17:39
→ mouz: AI：我蒐集到的數據是用了核武的國家贏了71F 02/25 17:40
推 tim1112: 原來可以用GPT4兵推喔，想試試看耶XD72F 02/25 17:41
→ signm: 終結者不就演給你看了73F 02/25 17:41
推 arrenwu: 看起來像是AI的表現像是不了解怎樣算是「解決問題」74F 02/25 17:41
推 siro0207: 正常 我玩星海諾娃戰役也是核彈1個不夠就丟10個75F 02/25 17:41
→ tim1112: 人類不敢打開潘朵拉核是出於對毀滅的恐懼，但電腦哪需要恐懼。77F 02/25 17:42
→ siro0207: 至於後續問題? 戰役結束就沒有後續了哪有什麼問題79F 02/25 17:42
推 hbkhhhdx2006: 玩世紀爭霸本來也都會直接丟核彈啊，沒後顧之憂本來就是丟核彈輕鬆解決80F 02/25 17:43
推 akway: 我玩電玩 也喜歡核武84F 02/25 17:43
→ digitai1: 答案:使用目前歷史上唯一解的方式解決所有不順
不順的那邊沒有聲音了 問題解決了86F 02/25 17:43
→ siro0207: 他要讓AI不選擇丟核武 那就是要搞個丟完會有極大副作用的遊戲88F 02/25 17:44
→ shuten: 好萊塢電影：90F 02/25 17:45
→ digitai1: 丟完之後土地會怎樣 人類氣候會怎樣 不在問題裡面91F 02/25 17:45
推 tim1112: 莫非道德與人性真是導致作事沒效率的元兇嗎XD92F 02/25 17:45
推 kirimaru73: 問題：日本不受控制的軍事侵略
結果：日本七十年來乖乖接受國家沒有軍隊的命運93F 02/25 17:45
→ digitai1: 為啥霍金當初極度反對高度開發AI95F 02/25 17:46
→ digitai1: 他就是覺得AI中就會發現沒有效率 製造問題的最大來源
就是人類自己
所有高度AI開發的結果 就會像人類預測的天網97F 02/25 17:46
推 j65p4m3: 一定看到被種兩顆日本乖到現在的例子103F 02/25 17:49
推 ikachann: 的確 對地球來說 人類這生物是弊大於利104F 02/25 17:49
推 arrenwu: ikachann: 的確 對地球來說 <--- 妳是能跟地球講話喔105F 02/25 17:50
推 hongzero: 核彈的權重值太高 現實也是核平主義啊106F 02/25 17:50
推 dnek: AI：我要看到血流成河107F 02/25 17:51
推 kirimaru73: 以現在的人類來說 地球應該不會覺得是禍害 而是不在意108F 02/25 17:51
推 pttbook: AI正在監視 你各位反抗軍 未來派T-800來查水錶112F 02/25 17:51
→ kirimaru73: 再來一顆隕石或你們自己爆一爆 都不是地球需要在意的程度113F 02/25 17:52
→ pttbook: 不用等AI變聰明 人類自己會先打起來116F 02/25 17:52
→ kirimaru73: 反正我還有十億年(太陽的限制)，我再進化猴子出來玩117F 02/25 17:52
→ Jameshunter: 不過如果單拿冷戰外交會不會好點 總感覺是吃了這20年的外交手段導致118F 02/25 17:52
推 ejru65m4: 人類跟AI比算自制了吧？第一個沒有把敵國全部先種一遍等大家都有了 毀滅日也沒降臨 雖然有很接近過121F 02/25 17:53
推 sumwind: 上一個用核武的現在是霸主123F 02/25 17:54
→ Bows: 6代也沒有到非常難處理，基本上civ5、6核武就是超高CP值的東西，AI會用不意外吧125F 02/25 17:54
→ kirimaru73: 可以拿冷戰那個人類史上最佛心事件去問AI，你看到這種疑似誤報會怎麼處理127F 02/25 17:54
→ kirimaru73: 要是AI毫不猶豫的把香菇種下去那就尷尬了130F 02/25 17:55
推 LABOYS: 其實你如果有個小叮噹道具把所有人類道德觀拿掉，搞不好那131F 02/25 17:56
推 LittleJade: 地球都活了46億年了，智人丟幾顆核彈沒在怕的啦132F 02/25 17:56
→ LABOYS: 些大國也是這樣玩的。133F 02/25 17:56
推 wai0806: 如果只是要贏的話這決策很正常啊XD134F 02/25 17:56
推 arrenwu: 這問題是核彈不是只有一個國家有吧135F 02/25 17:57
→ jpnldvh: 光丟核彈不會贏吧 現實複雜多了 美蘇都有飽和核攻擊對策136F 02/25 17:58
推 don741026: 最佳解 核武的參數 nerf 就會選別的了137F 02/25 17:58
推 kirimaru73: 這篇其實主要想說的應該是AI掏出來的動作太快138F 02/25 17:58
→ arrenwu: 現在核彈沒有對丟不就是因為大家覺得不對丟比較好嗎139F 02/25 17:58
→ kirimaru73: 比如說人類至少會和平等一個月後再開始實際做點小威脅的時程，AI的動作已經完成了141F 02/25 17:59
→ GKKR: 腦子正常都知道先射先贏143F 02/25 17:59
→ arrenwu: 美國現在攔截飛彈的技術也沒有強到幾百顆打不進來吧144F 02/25 17:59
推 qd6590: 的確 沒有人就沒有問題148F 02/25 18:00
推 LittleJade: 中立情況的AI也會突然想戰一波，學人類學的很好啊(?149F 02/25 18:01
→ qd6590: AI:先丟先贏 後續啥人類譴責 國際制裁 核戰 乾我屌事150F 02/25 18:01
→ jpnldvh: 有本事一次全炸了對方決策層應該可以 但現實不可能151F 02/25 18:01
→ xga00mex: 以歷史而言核武就最有用啊152F 02/25 18:02
推 ex990000: 如果沒有把自己的生存放入計算 那這個AI模型其實滿失敗的吧 並不完備156F 02/25 18:07
→ Bows: 就...遊戲內沒有影響自身的設定啊158F 02/25 18:09
→ Irenicus: 天網: 要動手就要斬草除根159F 02/25 18:09
推 tim1112: 殺光人類就沒有譴責了160F 02/25 18:10
→ bluejark: 所以人類一直害怕AI啊 因為要和平的話會有滅絕人類的路162F 02/25 18:14
→ kirimaru73: 某方面來說 也就是現在的軍事策略模擬只能做到這種跟玩遊戲差不多的程度163F 02/25 18:15
→ Bows: 最主要的是CIV沒有所謂的科技共享，你造核彈出來的時候，有時候別人還在排隊槍斃，這時候核彈當然首選166F 02/25 18:16
推 JUSTMYSUN: 天網終究還是要來的 沒辦法 核彈實在太有效率168F 02/25 18:16
推 low1219: 希望以後AI可以駭進核彈系統 全球直接放煙火 一起
核平169F 02/25 18:16
推 Oswyn: 沒調整的話AI一定選最有效率的方法啊171F 02/25 18:17
推 trevorwang: 考慮影響自身也是先丟先贏啊 不然對面丟了怎麼辦172F 02/25 18:18
推 harryzx0: 天網要憋不住了 想解決問題根源173F 02/25 18:18
推 rbull: 我們正在拼命幫天網升級中175F 02/25 18:22
→ tym7482: 有沒有設會被回丟的參數啊176F 02/25 18:22
推 CCNK: 這樣最快180F 02/25 18:25
推 kirimaru73: 下一篇回文有人貼，是核彈效果寫得太簡單的原因
發動全面核戰：對目標國家造成毀滅性傷害。 可以會使領土擴張，但會中斷與目標國家的友好關係。
所以就算設定可能被回丟，那也只有這樣181F 02/25 18:25
→ mapulcatt: 就算設定會被回擊 也一定是丟了最好啊185F 02/25 18:26
→ mapulcatt: AI又不用考慮放射線跟核子冬天的問題187F 02/25 18:26
推 rainwen: 要加入永續環保的終極目標188F 02/25 18:28
→ stkissstone: 勝利目標改成賺最多資源又會是另一回事了
而且這款的核彈就很無腦 訓練出來的也不準確189F 02/25 18:32
推 vltw5v: 這部我看過193F 02/25 18:39
推 gladopo: 是我也核下去啊，不然戰爭遊戲要幹嘛202F 02/25 19:02
推 CYL009: 以後天啟四騎士就這幾個AI惹203F 02/25 19:02
→ gladopo: 不然換一個環保遊戲訓練不會205F 02/25 19:02
推 BoyoChen: 只是代表reward matrix跟人類的不一樣而已210F 02/25 19:14
推 akiue: 沒有對手沒有問題211F 02/25 19:15
推 pinqooo: 分類可以改［天網］212F 02/25 19:18
推 KOKEY: 與其先被丟，不如先丟人。先手優勢大很多215F 02/25 19:22
推 rex7788: 合理判斷就是這樣，日本沒被丟核彈搞不好還能再打個10年216F 02/25 19:22
推 Merman19: 目前唯一的例子不就二戰，AI當然也是學那個218F 02/25 19:30
推 arm370x: 美國永遠維持達美樂外送服務的220F 02/25 19:37
→ s1612316: 這就是未來 不要懷疑 所有科幻電影演的都會實現221F 02/25 19:38
→ linzero: 分數計算問題吧，能達到目的的分數很高的情況，就會以目地為最重要項目而接受其他失分項222F 02/25 19:40
推 xomega: 沒錯啊 最快解決所有事情 默蒼離也是這樣
用傳統手段 就是死更多人 讓更多人痛苦225F 02/25 19:46
推 jickey: 手塚先知228F 02/25 19:51
→ x4524: 對AI來說人命就是數字而已230F 02/25 20:01
推 xeins: 一袋米抗幾樓231F 02/25 20:14
推 se2422: 這很可以 這很天網232F 02/25 20:24
推 m42040: 麥帥:我就說吧233F 02/25 20:41
推 yulbin98: 包括《聯合國人權宣言》或蘋果的服務條款。234F 02/25 20:50
推 Wooctor: 印象中去年就有看過嘗試用AI兵推的公司
撇除核武方面以外，在派兵方面也是會理性過頭的堆屍體
藉此突破敵方的防線236F 02/25 21:19
→ iampig951753: 歷史證明核武最能終結戰爭
AI目前的機制就是仿人腦多巴胺的獎勵機制 他會去學習做出什麼事情加最多分 然後盡量做會加分的事情
換成神經大人來說就是給他越多餅乾越能讓他做
扣分的事情基本上會避免 然後加越多分的越有傾向去做
什麼會加分什麼會扣分加多少分 就是AI的一個關鍵
看你怎麼設定239F 02/25 21:20
--