作者 kirimaru73 (霧丸)標題 Re: [討論] 當AI說出哪些話就代表人類危險了?時間 Sat Dec 6 12:17:29 2025
原本如果用正經的方式回答這個問題,大致會是以下的說法:
現在的AI只是語言模型不是AGI、他的模型固定且由人類控制、
不存在自行進化的可能性、不要跟他拼口水嘗試拔他電路......等等
但是如果討論「AI說出某種話」導致「人類危險了」這個話題來看,
那人類確實已經有一種正在產生的危險,就是AI胡說八道的高超技巧
如果AI胡說八道的能力遠超過了人類能做到的程度,
甚至連要認真辨識真偽都有困難,那就確實會造成危險
某些受到影響的領域,已經開始呼籲研究者提出抵抗的方法
他們並非單純地保守且想抵制AI,而是真的已經受到傷害:
「這個領域中的文章已經有大多數都由AI產生,並且學習的人都在看那些內容」
AI高超的寫作能力搭配人類的惰性,對學術界難免會產生污染
如果被污染的內容成為多數,那結果的嚴重性是可想而知的
學生學習時搜尋資料也更有可能搜尋到AI的文章,並將其當成正確的知識
一些研究也有發現,AI會對其他AI的文章產生較高偏好(最偏好的就是他自己)
在AI已經成為主流搜尋引擎的現在,這種不良影響很容易就會快速傳染
況且人類不只有惰性,還有惡意
部分「AI風向操控師」就會利用這點,研究如何產生符合主流AI偏好的文章
如果能讓搜尋引擎(AI模式)容易搜尋到某類文章,裡面的內容就容易被當成真實的
比起傳統的造謠等方式,這樣能讓世人更容易相信某個歪曲的理論是正確的
現在雖然還沒到達所未全面崩壞的程度,但危險性已經產生
偶爾會出現一些搞笑的例子,例如前陣子中國鋼鐵廠的官方文章
裡面出現了Minecraft「鐵傀儡」的技術,這當然只會被當成一個笑話
但如果笑話沒辦法被看出來是笑話,那人類就真的會身受其害
AI非常擅長胡說八道的原因有不少,一種簡單的說法就是人類逼的
他原本是個寫作家、創作家(生成世人工智慧)
但人類希望他能用來回答問題,幫助人類
於是給予他「給我回答問題」、「不要答錯」、
「叫你不要答錯不是不回答,快給我回答」等等困難的要求
最後得到的結果就是現在的樣子,大致上比一般人類博學,但是毛病也不少:
https://i.meee.com.tw/QjBcWNi.jpg
這有點像是所謂「你以為板上有那麼多人嗎,我開個分身過來」的笑話
但是更全面、更不容易看出來、也更不好笑
如今面對AI的胡說八道,雖然許多人懶得求證,但仔細求證還是能抓出來
如果未來連求證都變成一件困難的事情,那就真的是人類文化的危機了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.240.202.46 (臺灣)
※ 作者: kirimaru73 2025-12-06 12:17:29
※ 文章代碼(AID): #1fCwvR5o (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1764994651.A.172.html
※ 同主題文章:
Re: [討論] 當AI說出哪些話就代表人類危險了?
12-06 12:17 kirimaru73
→ spfy: 學術文獻已經開始有了吧1F 12/06 12:21
→ naya7415963: 所以以後正確知識的判定會變得更重要?不能只是網路查查就好,可能要某某期刊或AI出現前的論文才可信?4F 12/06 12:39
推 karta018: 可是人類本來就會胡說八道,這問題應該一直都在不是?6F 12/06 12:47
→ zxcmoney: 他想說的是 知識迴圈效應 吧?7F 12/06 12:48
→ spfy: 我看到的是已經用AI產論文投稿+本來就有特別容易過審的期刊(審核人可能有問題) 但不確定實際情況或我記錯...8F 12/06 12:48
→ zxcmoney: 常見的說法>我也說變更常說>更多人說更可信>又更多人說10F 12/06 12:49
→ GAOTT: 今年圖靈獎得主才跳出來說現在的ai發展是錯誤的方向12F 12/06 13:00
推 siro0207: 胡說八道的最高境界就是連自己都不知道自己在胡說八道這點倒是沒有幾個人類能做到13F 12/06 13:05
→ rayven: AI的學習來源不就爬蟲搜尋,深信三人成虎15F 12/06 13:27
這是比較「有效率」的AI訓練方式,但爬到錯的東西就會學到錯的東西
研究者也不希望永遠這樣,所以他們有特別用過保證正確的資料
但結果AI還是會胡說八道,因為它的本質是「創作者」,創作時胡說八道又沒有錯
→ CP64: 三人成虎還比較好 AI 的問題是可能一個人講幹話就會被當正解16F 12/06 13:28
※ 編輯: kirimaru73 (123.240.202.46 臺灣), 12/06/2025 13:36:25
推 Nitricacid: 我體感覺得其實人類也比較偏好 AI 寫的內容 尤其是非自己專業領域的部分==18F 12/06 14:39
→ takanasiyaya: 才不是,openAI的論文已經寫了跟訓練無關,是現在的LLM不會說不知道,找不到不知道就亂掰21F 12/06 15:01
推 gohst1234: 等到AI說滾開讓專業的來訓練,之後人類就無法看懂AI模型了23F 12/06 15:45
--