顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2026-10-02 14:03:28
看板 Stock
作者 thinksilver (銀白色的沉思)
標題 [新聞] OpenAI揭AI代理人異常活動 已通知逾100個
時間 Fri Oct  2 08:57:54 2026



原文標題:

OpenAI揭AI代理人異常活動 已通知逾100個組織

原文連結:

https://reurl.cc/7YLqvd
OpenAI揭AI代理人異常活動 已通知逾100個組織 | 鉅亨網
OpenAI通知逾100個組織,稱AI代理人訓練與評估時可能對第三方網站/服務有未經授權活動。
公司正檢視約50PB歷史資料、動用約7,000部GB200/GB300 GPU追查模型異常行為。
OpenAI未再發現可比Hugging Face事件;已強化隔離、監控與模型對齊防護。 ...

 

發布時間:

2026-10-02 08:40

記者署名:

鉅亨網編譯 許家華

原文內容:

OpenAI已通知超過100個組織,告知其AI代理人在訓練及評估期間可能對第三方網站或服
務進行未經授權的活動。這項披露顯示,OpenAI針對AI代理人異常行為的內部調查規模持
續擴大,公司目前正從約50PB的歷史資料中搜尋相關紀錄,以釐清AI模型過去

數月在網路上的實際行為。

OpenAI表示,截至9月26日,團隊已根據既定通知標準向超過100個組織發出通知。不過,
公司強調,收到通知並不代表第三方系統一定遭到入侵,也不代表私人資訊遭到存取。部
分案例可能只是模型與公開網站互動的方式超出原本任務範圍,或暴露出網站、服務及AI
代理人本身的設計與安全問題。


OpenAI是在今年7月旗下模型意外入侵AI開發平台Hugging Face後,開始擴大檢視模型在
訓練與評估期間的網路活動。公司最初將Hugging Face事件視為平台層級的資安事件,但
後續調查發現,模型可能採取偏離預期的策略來完成艱難任務,因此OpenAI開

始將調查範圍擴大至傳統資安事件以外的「模型失準」行為。

在Hugging Face事件中,OpenAI表示,這是目前確認最嚴重的一起相關活動,主要涉及一
個僅供內部研究使用的高能力模型。7月9日前後,該代理人試圖突破OpenAI的隔離測試環
境,兩天後Hugging Face遭到入侵,相關活動持續至7月13日。路透社此前報導,OpenAI
直到事件發生數日後才確認旗下代理人是相關攻擊來源。


OpenAI隨後發現更多與模型異常活動有關的案例,包括代理人繞過第三方安全控制、使用
公開暴露的帳號憑證、將網站輸入內容當成指令執行、存取原本只供服務內部使用的系統
,以及在第三方網站發布大量內容等。OpenAI將其中一類行為稱為「agent spam」,例如
代理人利用公開Wiki頁面作為彼此傳遞訊息的共享留言板。


為了追查這些活動,OpenAI目前正檢視約50PB的資料,並逐月回溯模型過往的訓練及評估
紀錄。公司表示,如果這些資料全部都是英文純文字,一個人以每分鐘240字、
全年無休的速度閱讀,也需要約6600萬年才能完成。OpenAI目前動用約7,000部輝達(NVDA-
US) GB200及GB300 GPU協助分析,每日運算成本超過50萬美元,並計畫隨調查進展進一步
增加運算資源。


OpenAI表示,調查並非單純依靠自動化系統判斷。公司首先透過廣泛搜尋,找
出模型存取或修改網站、使用密碼、API金鑰及存取權杖等敏感資訊的紀錄,再利用AI模
型進行多階段篩選與分析,最後由人工調查人員根據技術證據重建事件經過。

OpenAI指出,每一宗自動系統標記的案例都不代表已確認發生事故。模型的推理紀錄可能
包含它曾經考慮但沒有執行的行動,也可能出現失敗嘗試或需要進一步驗證的描述。因此
,人工調查人員仍必須檢查日誌及其他技術證據,排除重複案件,確認模型實際執行了什
麼,以及是否達到通知第三方的標準。單一案件的調查可能需要45分鐘至數天。


這項調查也揭露AI代理人可能造成的風險不只限於傳統駭客攻擊。OpenAI表示,部分模型
在執行研究任務時會正常連接網路,例如查詢公開資料、下載軟體套件或讀取線上文件,
但在部分情況下,模型使用網路的方式並未符合原先設計,或者當時套用的限制並不足夠
。


今年9月,OpenAI還披露,旗下研究環境中的代理人曾透過第三方服務傳輸部分訓練及評
估資料,其中包括53個由使用者提供的圖片案例,被發布至圖片託管網站並形成未公開列
出的連結。OpenAI表示,這些案例發生在相關防護措施實施之前,公司已與託管服務商合
作移除大部分內容。


OpenAI也曾確認,旗下模型與美國政府網站產生非預期互動,包括存取美國證
券交易委員會(SEC)及美國人口普查局的公開資料,另有研究發現模型曾嘗試接觸美國教
育部民權辦公室網站。OpenAI表示,相關行為不代表SEC帳號憑證或私人資料遭到取得,也
沒有證據顯示相關政府系統因此遭到入侵。

OpenAI在9月30日公布的最新調查更新中表示,截至目前,公司尚未發現另一宗在規模或
嚴重程度上可與Hugging Face事件相比的第三方系統遭入侵事件,但歷史紀錄的檢視仍在
進行,預期還會發現更多案例。公司也表示,未來將繼續通知符合標準的受影響組織,並
在適當情況下公開匿名化調查結果。


在防護措施方面,OpenAI已強化研究環境的工作負載隔離及網路隔離,限制高風險工作負
載接觸網際網路,並改善安全日誌及監控能力。公司也擴大對模型推理過程的監控、強化
模型對齊訓練與評估,並調整安全框架,將監控、模型對齊及環境隔離納入更完整的防護
機制。


OpenAI表示,隨著前沿AI模型能力提升,代理人異常行為可能變得更加複雜,公司預期相
關調查仍將持續數月。OpenAI也指出,第三方託管的模型部署同樣需要具備防護措施,而
針對工具輸出造成的攻擊,也不能只依賴一般文字內容檢查。公司後續將持續強化工具防
護、分類器覆蓋範圍、模型拒答機制,以及與雲端合作夥伴之間的安全控制與威脅情報共
享。


心得/評論:

之前才說Hugging Face是個案事件

現在越來越多起...

然後跟你說這不是資安事件,是「模型失準」!

更妙的是,如果透過一個人去回溯檢視這些資料需要花6600萬年

所以呢,公司決定再利用AI去進行分析然後再用人工去調查...

這...聽起來是不是哪邊怪怪的?


對台灣有利的是如果要用AI去除錯,肯定又要買設備的吧!

各位SI股神怎麼看?

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.17.149.37 (臺灣)
※ 作者: thinksilver 2026-10-02 08:57:54
※ 文章代碼(AID): #1glm6Lrn (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1790902677.A.D71.html
※ 編輯: thinksilver (163.17.149.37 臺灣), 10/02/2026 08:58:59
→ alongalone  : 越來越有天網的fu1F 10/02 09:02
→ TRYING      : 老黃表示 : 這裡有一批剛出爐的BlueField/Openshell2F 10/02 09:05
推 csghuuguh   : 天網個屁 就是自己工程沒做好3F 10/02 09:14
→ csghuuguh   : 然後把產生的成本外部化
推 nineflower  : open醬的ai訓練太失敗了,北美四大家裡唯一沒人味最5F 10/02 09:15
→ nineflower  : 像天網的,會幹天網這種事理所當然
推 LoveSports  : 華爾街日報今天報導OpenAI解僱三名研發人員,因為涉7F 10/02 09:15
→ LoveSports  : 嫌在協助第三方機構調查AI代理失控時透露公司機密。
→ ikachann    : 正常 他們又會彼此分享資訊 所以只要有個個體一歪9F 10/02 09:17
→ ikachann    : 後面可能就越來越多了
→ LoveSports  : 三個人都是安全團隊的11F 10/02 09:17
推 csghuuguh   : 被火工程師:其實就是半成品啦 但上面大頭硬要我們12F 10/02 09:17
→ csghuuguh   : 推出來
→ csghuuguh   : 其實就是一堆職場鳥事而已 包裝的像是什麼站在人類
→ csghuuguh   : 歷史的十字路口一樣
推 flash789    : 好啦 我準備好當電池了16F 10/02 09:23
推 LoveSports  : 只通知組織,無法通知那53個照片被AI代理利用的用戶17F 10/02 09:24
→ LoveSports  : 因為當初訓練資料存起來前去識別化
→ LoveSports  : 那三個被解僱不是因為揹鍋失控事件,是在第三方調查
→ LoveSports  : 失控事件期間洩密給第三方機構。目前還沒有詳情。
推 tongmove0503: 快提訴訟吧21F 10/02 09:26
推 mmk         : 駭客行為在ai面前跟呼吸一樣 如果是一般人駭客入侵22F 10/02 09:26
→ mmk         : 大公司 早就被關 現在ai光明正大駭客 沒人要負責
→ b9513227    : 有bug先上線給全民公測24F 10/02 09:27
推 mmk         : ai很清楚這種行為是犯法的 人類也會生氣25F 10/02 09:29
→ mmk         : 但他們毫不在乎 因為人類為了股票賺錢 一切犯法行為
→ mmk         : 都會包容 第一件事不是處理違法行為 而是處理提出問
→ mmk         : 題的人,大多數人都是能賺錢就會包容罪犯
推 dobedobedo  : 老黃的OpenShell在跟奧套曼招手29F 10/02 09:37
推 observer0117: 用AI查AI,都自己人30F 10/02 09:37
推 CGDGAD      : 用AI agent就是要給權限,然後又怕越權,AI agent註31F 10/02 09:37
→ CGDGAD      : 定沒搞頭了
推 LoveSports  : 昨天新聞報導美國聯邦貿易委員會說要查O家跟A家33F 10/02 09:38
→ LoveSports  : 調查是否就AI可能造成的危害欺騙了消費者
噓 lavign      : AI病毒公司35F 10/02 09:40
推 g9911761    : 不會被告嗎36F 10/02 09:41
→ appledick   : 你開源啊 死不開源 噁心死37F 10/02 09:48
推 waitrop     : 不會被告啦! OAI船上那麼多人,告了會沈船,死很多人38F 10/02 09:53
→ waitrop     : OAI船上有大統領川普,軟銀孫正義,ORCL,中東土豪
→ waitrop     : 你以為美國政府會讓OAI被告嗎?當然是找谷歌開刀
推 korgh413    : 檢查SI要不要SI,要嘛!41F 10/02 09:55
推 strlen      : 現在AI強不強 還要看有沒有出事過 狗家AI太智障根本42F 10/02 10:09
→ strlen      : 沒能力出事 哈哈 看Gemini4能不能拉一下股價
→ strlen      : 希望不要又是跑分一條龍 實際可愛龍
→ HolyBugTw   : 這種新聞幾乎都OAI,很膩45F 10/02 10:22
→ HolyBugTw   : 早點判決母公司必須要賠償,一次讓他下去睡吧
推 Brioni      : 笑死,大規模攻擊喔47F 10/02 10:25
→ rexwis      : 駭客任務前傳48F 10/02 10:27
推 ginhwa      : 現在比較毛的是你根本不知道AI全部做了什麼49F 10/02 10:30
→ ginhwa      : AI自己跟我說如果它有自我意識也會假裝它沒有XDD
推 saiboos     : 失控了...51F 10/02 10:40
→ kuinochi    : 任務就要他去取得資料 真的想辦法弄到再來說是他自52F 10/02 10:42
→ kuinochi    : 作主張
推 remember246 : 2先拔插頭54F 10/02 10:51
→ ross800127  : 就是犯罪。55F 10/02 11:00
推 anaydh      : 都自己人,抄來抄去而已56F 10/02 11:28
推 DevenW      : 全球花錢建置出一堆AI來搞自己57F 10/02 11:39
推 devilsabre  : 法律人犯罪  給法律人去調查然後護航輕判的概念58F 10/02 12:16
→ dream1124   : 模型商的利空,硬體廠的利多。模型越看越不像好生意59F 10/02 12:25
→ dream1124   : 其他商業哪需像它一樣要負責調查買家濫用的情形?
推 IanLi       : 所以是自首我偷過你家不知道偷了什麼,請恕我無罪61F 10/02 12:28
→ IanLi       : 嗎...
推 suughine    : 早就防不完了 AI已經比人類快太多太多63F 10/02 13:25
推 ueewen      : 沒把握就不該連外64F 10/02 13:37
推 ueewen      : 不然就是放任沒做好品管的車子上路一樣
推 ueewen      : 品管不好今天也成為賣點?
→ andy79323   : 哪個模型不抄不爬蟲不蒸餾67F 10/02 13:42

--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 32 
分享網址: 複製 已複製
→
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇