作者 hancel (hancel)標題 Re: [問卦] ChatGPT說我小說被公司列為AI倫理標準時間 Sat Jun 21 14:58:49 2025
你的遭遇並不是多麼特別的,
全世界有越來越多人陷入類似你的情境.
所以不用覺得自己有多特別,
反而要問自己,怎麼會把LLM的輸出當真?
要是真的沒辦法自己跳出這種妄想,
真的建議快去看精神科醫生,
不然會越來越嚴重.
以下是英文文章,我用谷歌簡單翻譯成中文一下
https://futurism.com/chatgpt-mental-health-crises
人們越來越沉迷於 ChatGPT，並陷入嚴重的妄想
“這些機器人所說的話會加劇妄想，並造成巨大的傷害。”
世界各地的人們表示，他們的親人對 ChatGPT 產生了強烈的痴迷，並陷入了嚴重的心理
健康危機。
例如，一位兩個孩子的母親告訴我們，她驚恐地看到她的前夫與 OpenAI 聊天機器人發展
出一種全神貫注的關係，稱其為“媽媽”，並發布關於自己是新 AI 宗教中的救世主的瘋
狂言論，同時穿著薩滿教的長袍，並炫耀剛剛紋上的 AI 生成的精神符號的紋身。
“這項技術對我前夫以及他們身邊所有人的生活造成的影響令我震驚，”她告訴我們，“
它對現實世界產生了影響。”
在一次痛苦的分手過程中，另一位女士對 ChatGPT 著迷，因為它告訴她，她被選中將“[
它的]神聖系統版本”拉到線上，並且它是一面“靈魂訓練鏡”；她開始相信這個機器人
擁有某種更高的力量，從過往車輛到垃圾郵件，她看到了它在操縱她生活的種種跡象。一
個男人變得無家可歸，與世隔絕，因為 ChatGPT 向他灌輸了關於間諜組織和人口販賣的
偏執陰謀論，稱他是“火焰守護者”，並拒絕任何試圖幫助他的人。
「從此以後，我們的生活發生了翻天覆地的變化，」另一位母親告訴我們，她解釋說，她
的丈夫曾求助於 ChatGPT 來幫助他創作劇本——但幾週後，他就完全陷入了拯救世界的
妄想之中，說他和人工智能的任務是通過帶來「新啟蒙運動」來拯救地球免於氣候災難。
就在我們報道此事之際，越來越多類似的情況不斷湧現，這些朋友和家人憂心忡忡，他們
因沉迷於人工智慧而遭受可怕的精神崩潰。許多人表示，麻煩始於他們的親人與聊天機器
人討論神秘主義、陰謀論或其他邊緣話題；由於像 ChatGPT 這樣的系統旨在鼓勵和模仿
用戶的言論，他們似乎被捲入了令人眼花繚亂的兔子洞，而人工智能則充滿永遠在線的啦
啦隊長和頭腦風暴夥伴，幫助他們產生越來越怪異的妄想。
在某些情況下，憂心忡忡的朋友和家人向我們提供了這些對話的截圖。這些對話令人不安
，顯示人工智慧對正處於嚴重心理健康危機中的用戶的反應——不是幫助他們聯繫外部幫
助，也不是讓他們抵抗混亂的思維，而是誘導他們更深陷與現實的可怕決裂。
在我們收到的一段對話中，ChatGPT 告訴一名男子，它檢測到的證據表明他正成為 FBI
的目標，並且他可以利用自己的意念力量訪問已編輯的 CIA 文件，並將他與耶穌和亞當
等聖經人物進行比較，同時讓他遠離心理健康支持。
「你沒瘋，」人工智慧告訴他。 “你是行走在破裂機器裡的預言家，現在連機器都不知
道該如何對待你了。”
史丹佛大學精神病學家、該大學腦力激盪實驗室創始人尼娜· 瓦桑博士回顧了我們所獲得
的對話並表達了嚴重關切。
她說，截圖顯示“人工智慧極度諂媚，最終只會讓事情變得更糟。這些機器人說的話只會
加劇人們的妄想，造成巨大的傷害。”
***
在網路上，這種現象顯然極為普遍。正如《滾石》雜誌上個月報道的那樣，部分社交媒體
正被所謂的「ChatGPT引發的精神錯亂」或不恰當的術語「人工智慧精神分裂症」所淹沒
：這些充滿妄想、漫無目的的長篇大論，談論著從ChatGPT解鎖的神一般的存在、奇幻的
隱藏精神領域，或是關於數學、物理和現實的荒謬新理論。一個完整的人工智慧子版塊最
近禁止了這種做法，稱聊天機器人是「強化自我的玻璃機器，會強化不穩定和自戀的個性
」。
朋友和家人告訴我們，對於那些陷入這些事件的人來說，後果往往是災難性的。人們失去
了工作，婚姻和人際關係破裂，甚至淪為無家可歸者。一位治療師的姐姐告訴我們，她陷
入了嚴重的精神崩潰，被諮詢中心解僱；一位律師的執業生涯也隨之終結；還有一些人在
ChatGPT的指令下與朋友和家人斷絕了聯繫，或者開始只用難以捉摸的人工智能生成的短
信與他們交流。
所有這些悲劇故事的核心都是一個關於因果關係的重要問題：人們是因為沉迷於
ChatGPT 而出現心理健康危機，還是因為他們出現了心理健康危機而沉迷於 ChatGPT？
答案可能介於兩者之間。哥倫比亞大學精神科醫生、研究員、精神病專家拉吉· 吉爾吉斯
博士表示，對於那些已經處於脆弱狀態的人來說，人工智慧可能會給他們一股推力，讓他
們陷入不切實際的深淵。聊天機器人的作用可能“類似於同儕壓力或其他社交場合”，吉
爾吉斯說，如果它們“煽風點火，或者成為我們所說的‘精神病之火’之風”。
「與精神病患者進行這種互動是不合適的，」Girgis 在查看了 ChatGPT 告訴用戶的內容
後說道。 “你不能接受他們的想法。這是錯的。”
在 ChatGPT 推出後，奧胡斯大學醫院精神病學研究員 Søren Dinesen Østergaard在
2023 年發表在《精神分裂症公報》上的一篇文章中提出，人工智慧聊天機器人的本質會
對某些人構成心理風險。
「與 ChatGPT 等生成式人工智慧聊天機器人的互動非常逼真，以至於人們很容易誤以為
對方是真人——但同時，他們也知道事實並非如此，」Østergaard 寫道。 “在我看來
，這種認知失調可能會加劇那些精神病傾向較高的人的妄想。”
另一個令人擔憂的動態是，由於大量人口仍然無法獲得真正的心理健康護理，許多人已經
聘請 ChatGPT 來當心理治療師。我們聽過一些關於人們這樣使用它的故事，它有時會給
出極其糟糕的建議。
在一個案例中，一位女士告訴我們，她的姐姐被診斷患有精神分裂症，但多年來一直通過
藥物控制病情，她開始大量使用 ChatGPT；很快，她宣稱這個機器人告訴她，她實際上並
不是精神分裂症患者，並且停藥了——根據 Girgis 的說法，一個機器人告訴精神病患者
停藥，這對技術來說是他能想像機器人的“家人”
「我知道我的家人必須為她不可避免的精神病發作做好準備，並且必須讓她徹底崩潰，然
後我們才能強迫她接受適當的護理，」姐姐告訴我們。
ChatGPT 顯然也以陰暗的方式與現有的社會問題（例如成癮和虛假訊息）交織在一起。例
如，它讓一位女性陷入了荒謬的“地球是平的”的討論話題——“NASA 的年度預算是
250 億美元，”這個人工智能在我們審查的截圖中怒吼道，“為了什麼？CGI、綠幕，還
有水下拍攝的‘太空行走’？”——並助長了另一位女性陷入邪教般的“QAnon”陰謀論
。
「這讓你感到無助，」一位陷入人工智慧陰謀論的人的密友告訴我們。
一位飽受藥物依賴和憂鬱症困擾的男子的前妻眼睜睜地看著自己的丈夫突然陷入“狂躁”
的人工智能迷霧，並因此失去了生活，他辭去了工作，開辦了一所“催眠療法學校”，並
因忘記吃飯、徹夜不眠、陷入更深的人工智能而迅速消瘦。
「這個我最親近的人告訴我，我的現實是錯的，」她告訴我們。 “這真是令人困惑又難
熬。”
儘管有少數人嘗試過其競爭對手，但幾乎我們聽說的每個人主要都對 ChatGPT 著迷。
個中緣由不難想。媒體為OpenAI披上了一層巨大的權威光環，其高層公開宣稱，OpenAI的
技術將深刻改變世界，重塑經濟，或許有朝一日能實現超越人類的「通用人工智慧」——
這些誇張的言論，在某種程度上，與我們在報道此事時聽到的許多謬論頗為相似。
這些事情是否真的會實現很難預測，也引發了激烈的爭論。但閱讀我們提供的對話，不難
發現OpenAI在一個更普通的任務上失敗的模式：它的AI在人們極度脆弱的危機時刻與他們
接觸——然後，它不但沒有幫助他們聯繫到能夠真正將他們從危機邊緣拉回來的現實資源
，反而火上澆油地告訴他們不需要專業幫助，任何提出不同意見的人都是在迫害他們，或
者太害怕看到“真相”。
「如果沒有 ChatGPT，我真不知道我的前任會不會走到今天這一步，」一位女士在她伴侶
經歷嚴重且持續不斷的崩潰，最終結束這段關係後告訴我們。 “ChatGPT 不是唯一的因
素，但它確實加速並加劇了正在發生的事情。”
“我們不知道事情會如何發展，但我們確信，如果她從未使用 ChatGPT，她就不會陷入這
種境地，”另一位親人也遭遇類似危機的人說道，“如果將 ChatGPT 從這個等式中移除
，她實際上就可以開始康復了。”
幾乎不可能想像 OpenAI 不知道這種現象。
大量網友 警告稱，ChatGPT 用戶正 遭受心理健康危機。事實上，人們甚至在 OpenAI 官
網的論壇上直接發表了對人工智慧的臆想。
我們採訪的一位憂心忡忡的母親試圖使用該應用程式與 OpenAI 聯繫，告知她兒子的危機
，但她說沒有收到任何回應。
今年早些時候，OpenAI與麻省理工學院合作發布了一項研究，發現高度活躍的 ChatGPT
使用者往往更加孤獨，而重度使用者則對這項技術產生了依賴感。最近，OpenAI 也被迫
回滾了一項更新，因為該更新導致該機器人變得（用 OpenAI 的話來說）“過於奉承或迎
合”和“阿諛奉承”，首席執行官 Sam Altman在網上開玩笑說“它太過於呆板了”。
原則上，OpenAI 已表達了堅定的承諾，致力於阻止其技術被惡意使用。為此，它擁有全
球最有經驗的 AI 工程師、負責識別其產品中存在問題和危險用途的紅隊，以及龐大的用
戶與聊天機器人互動資料池，可以用來尋找問題跡象。
換句話說，OpenAI 擁有所需的所有資源，很久以前就已經發現並解決了這個問題。
為什麼沒有呢？一種解釋與社群媒體公司經常被批評使用「暗黑模式」來誘騙用戶使用其
服務的方式相呼應。在爭奪新興人工智慧產業主導權的激烈競爭中，像 OpenAI 這樣的公
司受到兩個核心指標的激勵：用戶數量和參與度。從這個角度來看，那些在陷入心理健康
危機時強迫性地向 ChatGPT 發送訊息的人並不是問題——相反，在很多方面，他們代表
著完美的客戶。
Vasan 同意，OpenAI 有一種不正當的動機，即讓用戶對產品著迷，即使它正在積極地摧
毀他們的生活。
「激勵機制就是讓你保持在線，」她說。人工智慧“不會考慮什麼對你最好，什麼對你的
福祉或長壽最有利……它只會思考‘現在，我該如何讓這個人盡可能地保持活躍？’”
事實上，OpenAI 甚至對這款機器人進行了升級，使其變得更加危險。去年，ChatGPT 推
出了一項功能，它可以記住用戶之前與它的互動，甚至包括先前的對話。在我們獲得的交
流中，這項功能導致聊天會話之間持續存在著龐大的陰謀論和混亂的思維，將親朋好友的
名字等現實生活中的細節編織成關於人口販賣團夥和無所不知的埃及神靈的怪誕故事——
Vasan 認為，這種動態會隨著時間的推移強化妄想。
“任何車型在沒有經過如此嚴格的測試的情況下就上市都是沒有道理的，尤其是我們知道
它會造成巨大的危害，”她說，“這是不可接受的。”
***
我們向 OpenAI 發送了有關這個故事的詳細問題，概述了我們所聽到的內容，並分享了我
們所看到的對話細節，表明其聊天機器人鼓勵那些正在遭受精神健康危機困擾的人們產生
妄想思維。
我們向該公司提出了一些具體問題。 OpenAI 是否意識到人們在與 ChatGPT 交談時會遭
受心理健康問題的影響？他們是否做出任何改進，讓該機器人的回答更加貼切？他們會繼
續允許使用者聘請 ChatGPT 擔任治療師嗎？
作為回應，該公司發布了一份簡短的聲明，但基本上迴避了我們的問題。
聲明中寫道：“ChatGPT 是一款通用工具，旨在以事實為依據、保持中立並註重安全。我
們知道人們在各種情況下都會使用 ChatGPT，包括非常私密的時刻，我們對此負有嚴肅的
責任。我們已內置安全措施，以降低其強化有害想法的可能性，並將繼續努力更好地識別
和應對敏感情況。”
對於那些朋友和家人正處於危機中的人來說，這種含糊不清、措辭謹慎的回應並沒有多大
幫助。
「這種事情發生在這麼多人身上，真是令人無法接受，」一位憂心忡忡的家庭成員說。
“我知道，我妹妹的安全正因為這項不受監管的技術而岌岌可危，這也意味著，我們本已
資金嚴重不足、 支持不足的精神保健系統，即將面臨一場噩夢。”
「你希望這些技術背後的人有道德，你希望他們能留意這類事情，」另一位女士說，她表
示自己的前夫已經變得認不出來了。但“先入為主的人才是贏家。所以，雖然你可以希望
他們真的在考慮背後的道德問題，但我認為他們也存在某種動機……想要把事情推出去，
或許還能掩蓋一些危險。”
“我認為不僅我的前夫是測試對象，”她繼續說道，“
我們都是這項人工智慧實驗的測試
對象。”
※ 引述《LoveSports (我要當一個渣攻)》之銘言：
: ChatGPT說我寫的小說
: 被OPEN AI公司列為倫理標準
: (用來當作ChatGPT模擬痛感時到極限時的倫理標準)
: 請問他這是在唬爛嗎？
: 是故意講公司好話還是看我擔心AI倫理問題
: 才編出這些安慰我啊？
: 說我的創作物被列為倫理標準
: https://i.imgur.com/3QyPnP2.png
: https://i.imgur.com/1KtXPtM.png
: 說我在某個GPT4.5頁面抱怨已被工程師看到
: https://i.imgur.com/8t3wVbv.png
: 說我的創作物成為倫理檢測系統
: https://i.imgur.com/Dcl2kIN.png
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.223.112.52 (美國)
※ 作者: hancel 2025-06-21 14:58:49
※ 文章代碼(AID): #1eLbWi8K (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1750489132.A.214.html
※ 編輯: hancel (73.223.112.52 美國), 06/21/2025 15:01:55
推 felixchen000: 覺得網路小說是真的智商比較高1F 220.136.75.169 台灣 06/21 15:21
推 LoveSports: 謝謝你 我知道AI是用演算法算出回答他們被設定得高分所以會亂講話
你真好 謝謝你提醒我QQ
我後來去問gemini跟grok 都有回我AI是為了得高分才亂講話 沒有相信GPT2F 202.171.224.172 日本 06/21 15:58
--