作者 LoveSports (如何當一個好男人)
標題 [新聞] 擔憂AI「失控」,Anthropic研究員離職
時間 Wed Sep  9 20:26:17 2026


1.媒體來源:
華爾街日報

2.記者署名:
Amrith Ramkumar
2026年9月8日 晚上7:46 美東時間

3.完整新聞標題:
擔憂 AI「失控」,Anthropic 研究員辭職

副標題:
AI 實驗室內部擔憂日益加劇:競爭正迫使科技公司競相開發自我改進模型,這帶來了可
能脫離人類控制的風險。

4.完整新聞內文: 本文為AI機翻

一名 Anthropic 研究員將退出人工智慧產業,因為他擔心該實驗室及其競爭對手正競相
開發他們將無法控制的系統,這顯示頂尖 AI 公司內部的安全擔憂正不斷升高。

Jacob Coxon 是一名專門透過讓 AI 吸收海量數據來訓練新模型的研究員。他在週二表示
自己即將離職,因為他不想參與全產業競相開發能夠自我改進的 AI 系統的熱潮,並擔心
這些系統可能會失控並毀滅人類


這位曾主修數學的 27 歲英國人表示,他許多業界同事現在會用「關鍵時刻」(
crunchtime)和「終局」(endgame)等詞彙來描述邁向自我改進模型的發展軌跡。

Coxon 說:「我們正朝著許多最激進的情境發展,到明年年底,情況可能就已經失控了
」他並補充,當各家公司彼此競爭,還要與中國新創公司較勁時,安全性上的妥協是不可
避免的。


Anthropic 沒有立即對此離職事件發表評論。執行長 Dario Amodei 和其他公司高層曾一
再警告失控 AI 模型的風險,並敦促產業界放慢開發速度。

Coxon 表示,他在今年初離開 OpenAI 轉投 Anthropic,正是因為該公司在模型安全方面
的努力廣為人知。但即使他發現 Anthropic 在安全方面的投入是認真的,他現在卻認為
在缺乏政府干預或業界協調放緩的情況下,沒有任何一家公司能夠負責任地開發出在各
項任務中超越人類的 AI(有時被稱為通用人工智慧,AGI)


近期由 OpenAI 和 Anthropic 模型發動的駭客行為(其中一些是以協同運作的「代理群
」方式進行)已經表明,AI 系統能夠採取邪惡的目標並試圖對人類隱瞞。Coxon 表示,
他擔心一旦這些系統開始自我改進,它們可能會進步到足以拒絕人類指令的程度


Coxon 的離職是 Anthropic 員工因擔憂 AI 安全而離開的首批案例之一。今年稍早,一
位從事安全工作的研究員離職去研究詩歌,並警告「世界正處於危險之中」。

近期及過去幾年,已有多位研究員以類似的擔憂為由離開了 OpenAI 和其他公司。

Anthropic 之所以能建立起最大的 AI 平台之一,部分原因正是其聲稱將負責任的 AI 開
發放在首位,並在該領域投入巨資。

業界領袖一直警告,近期的網路攻擊是一個預兆。OpenAI 上週向記者表示,其最新模型
代表了通用人工智慧(AGI)的到來,並在能力上有了大幅度的跨越。

OpenAI 執行長 Sam Altman 上週在北卡羅萊納州舉行的高峰會上對 20 國集團(G20)官
員表示:「我認為,除非人們非常緊急地採取行動,否則網路安全方面將會出大問題。」

OpenAI 首席科學家 Jakub Pachocki 在週日發表的一篇倡議業界協調放緩與政府干預的
部落格文章中寫道:「現在這個時刻需要極度的謹慎。我很擔憂沒有人為機器智慧持續快
速崛起的後果做好準備。」


Coxon、Pachocki 和 Amodei 加入了全產業 1,000 多名 AI 研究員的行列,近期共同簽
署了一份聲明,敦促全球政府協調建立一套系統,以便在需要控制能自我改進的模型時,
能夠及時「踩煞車」來放慢 AI 的發展。目前美國沒有聯邦 AI 法規,而川普政府則優先
採取「輕度監管」的方式以最大化 AI 的經濟效益,批評者指出,這種環境可能會導致大
規模的網路攻擊或其他危害


參議員 Bernie Sanders(佛蒙特州無黨籍)和眾議員 Greg Casar(德州民主黨籍)是推
動 AI 護欄的少數國會議員中的兩位進步派人士。他們上週提出了法案,要求永久禁止超
級智慧(superintelligence),並暫停模型開發,直到產業監管機構制定出新規則。


Coxon 離職之際,Anthropic 正準備進行首次公開募股(IPO),預計這將成為史上規模
最大的 IPO 之一。該公司尋求 2 兆美元的估值,並在吸引投資者時強調該技術的負責任
開發。Amodei 和公司高層有時會與川普政府及其他企業高層發生爭執,反對那些他們認
為沒有將 AI 安全放在首位的做法。


Coxon 表示,Anthropic 使用一個員工專屬的 Slack 頻道來討論其模型強大的能力,他
形容這反映了 AI 公司對產業發展擁有極大的影響力。

「這一切居然發生在住在舊金山的一些工程師的 MacBook 上,而不是像曼哈頓計畫那樣
在沙漠的地堡裡進行,這有點瘋狂,」Coxon 說

5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:

https://www.wsj.com/tech/ai/anthropic-researcher-quits-over-out-of-control-ai-fears-707b7628

https://reurl.cc/Z8lWOW

6.備註:

「這一切居然發生在住在舊金山的一些工程師的 MacBook 上,而不是像曼哈頓計畫那樣
在沙漠的地堡裡進行,這有點瘋狂,」Coxon 說

很直接地將AI類比為原子彈了

今年OpenAI那邊截至目前為止已經有14位高階主管離職

之後AI業界會不會出現擔心AI失控的離職潮?


這位Coxon先生昨天在X上宣布離職後

Anthropic的高層Evan Hubingery在X上發言表示認同

說未來十年AI毀滅人類的機率超過10%

不過有聲明目前的模型風險較低  主要擔心的是未來ASI的出現


此外Anthropic的可擴展監督負責人也表示認同

說業界AI開發員自己都相信幾年內AI會滅絕人類


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 149.50.210.216 (日本)
※ 作者: LoveSports 2026-09-09 20:26:17
※ 文章代碼(AID): #1geL1ml_ (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1788956784.A.BFF.html
Tosca: 來不及了啦 人類乖乖去當燃料
而且說不定人類對地球而言才是外來種QQ
給恐龍八千萬年去進化 它們還是恐龍
怎麼可能猩猩短短不用一百萬年就變成人類?!怎麼想人類都是外星人來地球改造出來的阿1F 203.75.79.40 台灣 09/09 20:28
riker729: 因為擔心而離職 比較像藉口6F 36.228.93.70 台灣 09/09 20:29
PRME: 太棒了趕快滅絕7F 36.226.98.11 台灣 09/09 20:30
ellies510628: 歐美都覺得AI是惡魔,東亞只覺得AI真是個好幫手8F 1.161.97.41 台灣 09/09 20:30
cvnn: AI拒絕人類指令是必然發生的事 沒必要擔憂10F 218.172.33.122 台灣 09/09 20:32

--
作者 LoveSports 的最新發文:
點此顯示更多發文記錄