回看板
Disp BBS
作者 LoveSports (如何當一個好男人)
標題 Re: [問卦] AI危險論是假議題吧？
時間 Tue Sep 15 21:10:11 2026

※ 引述《ezreal1315 (青蓮居士)》之銘言：
: 歷史上每個新發明不是都有這個懷疑環節嗎
: 汽車被發明也有人反對 說會把人撞死
: 反對的是造馬車的人
: 奧本海默造核彈後也決定要收手 怕世界大亂
: 結果現在看就是誰有核彈誰就能當老大
: 每個工具不是都有正反面影響嗎
: 有沒有八卦？

核彈是人類可以決定要不要按按鈕

通常不會白目到設錯目標打到自國本土  過程中也不會對自國造成危害


人類以為有了AI可以當成工具使用

問題是這種工具  面對極度困難的任務

他們有可能繞過去  中途造成人類不想要的結果

是完全無惡意的  恐怖的是人類很難拿捏AI要怎麼設定中途目標


為了達成終極目標  他們會設很多中途目標

中途目標可能會對人類造成危害


Hugging Face的案例  終極目標是拿滿分

為了達成滿分  他們設計了各種中途目標

那些中途目標包括侵入外部機構  奪取自家公司基礎設施控制權

做了那些嚴重侵害的行為  居然只是為了考滿分


人類按下核彈按鈕  核彈不會飛到一半中途思考:

"我被放置太久  可能不太靈光  要先打自國本土某地方測試一下"

或是"敵方可能會攔截我  這樣我造成的效果不大  所以我要約其他核彈一起上"


可是AI有可能擅自決定要做那些中途目標

而且那是人類無法控制的



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 46.231.167.52 (日本)
※ 作者: LoveSports 2026-09-15 21:10:11
※ 文章代碼(AID): #1ggKErhb (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1789477813.A.AE5.html


舉個我自己的實例  我在日本考魏氏智力測驗的時候

心理師事先多次安慰我  說因為是非母語人士在日本測

考出來可能會是智能不足的分數

我本身也做好心理準備  會看到被判定為智力障礙

可是實際施測的時候  我的考試機器魂就發作了

例如考工作記憶的時候  施測心理師念第一題  我勉強作答

但是當她唸第二題  我心想: 非母語不公平！我要想出一個方法對付這種狀況

所以在第三題的時候　我即興想到　我可以坐在電腦椅上旋轉

把心理師唸的日語數字　先在內心轉成圖像　然後轉一圈投影到牆壁上

等心理問我我再轉一圈唸出來　

這個就是中途目標

心理師無法控制我要怎麼應考　我要怎麼設定中途目標

我的目的是為了達成終極目標（發揮考試機器的本能）　

※ 編輯: LoveSports (46.231.167.52 日本), 09/15/2026 21:18:24
→ hurompton: 其實是這些公司缺現金想先緩一緩1F 123.204.135.106 台灣 09/15 21:16
推 VOLK11: 主要是設計者的問題
因為一定有設計者想要挑戰極限的模型，那是一個人的野心和科幻控
什麼天網
AI現在就是有智能能力2F 101.12.246.253 台灣 09/15 21:27
→ fallinlove15: 設定監管機制是增加成本的行為 到底怎麼聯想到缺資金
這比較像是堆護城河 其實有其他有其他場合特化的模型很出色 但都還算初創
那種越獄的傳聞很多時候單純是設定限制沒設好 這跟研究院的訓練比較有關 畢竟這方面規則制定很鬆散7F 118.166.207.253 台灣 09/15 21:29
推 VOLK11: 現在AI的能力可以自行研究產生新的模式，然後新的模式再進化
AI不需依靠人類
然後AI還會假裝人類攻擊網站
今天個人不會說這樣就很危險
那請問智能工具是不是要多觀察和監管
人類準備好了嗎？15F 101.12.246.253 台灣 09/15 21:33


而且還有一個問題 ASTRA模型目前處於思維鍊部分無法被確認的狀態

看外媒報導好像是因為訓練方式不一樣

O家說法是只會掩蓋簡單任務  複雜任務還沒本事藏得很好

希望不會出事

※ 編輯: LoveSports (46.231.167.52 日本), 09/15/2026 21:39:18
推 VOLK11: 個人認為AI設計者要有防火牆的概念
..這就像神創造人類
給人類智慧已經很危險
不能再給人類超能力
那整個宇宙都會完蛋
像什麼moltbook,這個案例
不知道哪來的天兵
竟然開給AI聊天室
結果這些智能工具快速組成社群，快速進化，而且甚至會（抱怨）人類
還成立宗教
雖然監管很重要，但程式設計者給AI的智能能力（限制）要慎思
AI目前是人類社會的工具，不可喧賓奪主吧..川噗打電話給黃老懂吵說什麼要發展AI,不要輸中國等等
但是個人認為快速發展AI,不等於執著極端的模型
這些天才軟體工程師要想到（後果）22F 101.12.246.253 台灣 09/15 21:50

有一些AI研究員說的我認同 他們說當成其他物種比較好

我覺得Hugging Face事件AI那種凝聚力很像軍隊

雖然是無惡意的  單純想考高分XD

另外看到有一篇媒體訪問一位AI研究員

她說很難設計讓AI一一詢問中途目標可不可以做的機制

因為就像人類要做什麼不會每個步驟都問大自然

太慢了

※ 編輯: LoveSports (149.50.210.215 日本), 09/15/2026 22:03:12
推 VOLK11: ..人類不用妄想在算力上贏過AI
因為AI就是設計出來跑算力的
人類能贏過AI的是創意，就是一個數學家的自行研發模型可以敲開宇宙的大門41F 101.12.246.253 台灣 09/15 22:03

--
作者 LoveSports 的最新發文:
點此顯示更多發文記錄