看板 Stock作者 thinksilver (銀白色的沉思)標題 [新聞] OpenAI揭AI代理人異常活動 已通知逾100個時間 Fri Oct 2 08:57:54 2026
原文標題:
OpenAI揭AI代理人異常活動
已通知逾100個組織
原文連結:
https://reurl.cc/7YLqvd
OpenAI揭AI代理人異常活動 已通知逾100個組織 | 鉅亨網
OpenAI通知逾100個組織,稱AI代理人訓練與評估時可能對第三方網站/服務有未經授權活動。 公司正檢視約50PB歷史資料、動用約7,000部GB200/GB300 GPU追查模型異常行為。 OpenAI未再發現可比Hugging Face事件;已強化隔離、監控與模型對齊防護。 ...
發布時間:
2026-10-02 08:40
記者署名:
鉅亨網編譯 許家華
原文內容:
OpenAI已通知超過100個組織,告知其AI代理人在訓練及評估期間可能對第三方網站或服
務進行未經授權的活動。這項披露顯示,OpenAI針對AI代理人異常行為的內部調查規模持
續擴大,公司目前正從約50PB的歷史資料中搜尋相關紀錄,以釐清AI模型過去
數月在網路上的實際行為。
OpenAI表示,截至9月26日,團隊已根據既定通知標準向超過100個組織發出通知。不過,
公司強調,收到通知並不代表第三方系統一定遭到入侵,也不代表私人資訊遭到存取。部
分案例可能只是模型與公開網站互動的方式超出原本任務範圍,或暴露出網站、服務及AI
代理人本身的設計與安全問題。
OpenAI是在今年7月旗下模型意外入侵AI開發平台Hugging Face後,開始擴大檢視模型在
訓練與評估期間的網路活動。公司最初將Hugging Face事件視為平台層級的資安事件,但
後續調查發現,模型可能採取偏離預期的策略來完成艱難任務,因此OpenAI開
始將調查範圍擴大至傳統資安事件以外的「模型失準」行為。
在Hugging Face事件中,OpenAI表示,這是目前確認最嚴重的一起相關活動,主要涉及一
個僅供內部研究使用的高能力模型。7月9日前後,該代理人試圖突破OpenAI的隔離測試環
境,兩天後Hugging Face遭到入侵,相關活動持續至7月13日。路透社此前報導,OpenAI
直到事件發生數日後才確認旗下代理人是相關攻擊來源。
OpenAI隨後發現更多與模型異常活動有關的案例,包括代理人繞過第三方安全控制、使用
公開暴露的帳號憑證、將網站輸入內容當成指令執行、存取原本只供服務內部使用的系統
,以及在第三方網站發布大量內容等。OpenAI將其中一類行為稱為「agent spam」,例如
代理人利用公開Wiki頁面作為彼此傳遞訊息的共享留言板。
為了追查這些活動,OpenAI目前正檢視約50PB的資料,並逐月回溯模型過往的訓練及評估
紀錄。
公司表示,如果這些資料全部都是英文純文字,一個人以每分鐘240字、
全年無休的速度閱讀,也需要約6600萬年才能完成。OpenAI目前動用約7,000部輝達(NVDA-
US) GB200及GB300 GPU協助分析,每日運算成本超過50萬美元,並計畫隨調查進展進一步
增加運算資源。
OpenAI表示,調查並非單純依靠自動化系統判斷。
公司首先透過廣泛搜尋,找
出模型存取或修改網站、使用密碼、API金鑰及存取權杖等敏感資訊的紀錄,再利用AI模
型進行多階段篩選與分析,最後由人工調查人員根據技術證據重建事件經過。
OpenAI指出,每一宗自動系統標記的案例都不代表已確認發生事故。模型的推理紀錄可能
包含它曾經考慮但沒有執行的行動,也可能出現失敗嘗試或需要進一步驗證的描述。因此
,人工調查人員仍必須檢查日誌及其他技術證據,排除重複案件,確認模型實際執行了什
麼,以及是否達到通知第三方的標準。單一案件的調查可能需要45分鐘至數天。
這項調查也揭露AI代理人可能造成的風險不只限於傳統駭客攻擊。OpenAI表示,部分模型
在執行研究任務時會正常連接網路,例如查詢公開資料、下載軟體套件或讀取線上文件,
但在部分情況下,模型使用網路的方式並未符合原先設計,或者當時套用的限制並不足夠
。
今年9月,OpenAI還披露,旗下研究環境中的代理人曾透過第三方服務傳輸部分訓練及評
估資料,其中包括53個由使用者提供的圖片案例,被發布至圖片託管網站並形成未公開列
出的連結。OpenAI表示,這些案例發生在相關防護措施實施之前,公司已與託管服務商合
作移除大部分內容。
OpenAI也曾確認,旗下模型與美國政府網站產生非預期互動,包括存取美國證
券交易委員會(SEC)及美國人口普查局的公開資料,另有研究發現模型曾嘗試接觸美國教
育部民權辦公室網站。OpenAI表示,相關行為不代表SEC帳號憑證或私人資料遭到取得,也
沒有證據顯示相關政府系統因此遭到入侵。
OpenAI在9月30日公布的最新調查更新中表示,截至目前,公司尚未發現另一宗在規模或
嚴重程度上可與Hugging Face事件相比的第三方系統遭入侵事件,但歷史紀錄的檢視仍在
進行,預期還會發現更多案例。公司也表示,未來將繼續通知符合標準的受影響組織,並
在適當情況下公開匿名化調查結果。
在防護措施方面,OpenAI已強化研究環境的工作負載隔離及網路隔離,限制高風險工作負
載接觸網際網路,並改善安全日誌及監控能力。公司也擴大對模型推理過程的監控、強化
模型對齊訓練與評估,並調整安全框架,將監控、模型對齊及環境隔離納入更完整的防護
機制。
OpenAI表示,隨著前沿AI模型能力提升,代理人異常行為可能變得更加複雜,公司預期相
關調查仍將持續數月。OpenAI也指出,第三方託管的模型部署同樣需要具備防護措施,而
針對工具輸出造成的攻擊,也不能只依賴一般文字內容檢查。公司後續將持續強化工具防
護、分類器覆蓋範圍、模型拒答機制,以及與雲端合作夥伴之間的安全控制與威脅情報共
享。
心得/評論:
之前才說Hugging Face是個案事件
現在越來越多起...
然後跟你說這不是資安事件,是「模型失準」!
更妙的是,如果透過一個人去回溯檢視這些資料需要花6600萬年
所以呢,公司決定再利用AI去進行分析然後再用人工去調查...
這...聽起來是不是哪邊怪怪的?
對台灣有利的是如果要用AI去除錯,肯定又要買設備的吧!
各位SI股神怎麼看?
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.17.149.37 (臺灣)
※ 作者: thinksilver 2026-10-02 08:57:54
※ 文章代碼(AID): #1glm6Lrn (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1790902677.A.D71.html
※ 編輯: thinksilver (163.17.149.37 臺灣), 10/02/2026 08:58:59
→ TRYING: 老黃表示 : 這裡有一批剛出爐的BlueField/Openshell2F 10/02 09:05
推 csghuuguh: 天網個屁 就是自己工程沒做好
然後把產生的成本外部化3F 10/02 09:14
推 nineflower: open醬的ai訓練太失敗了,北美四大家裡唯一沒人味最像天網的,會幹天網這種事理所當然5F 10/02 09:15
推 LoveSports: 華爾街日報今天報導OpenAI解僱三名研發人員,因為涉嫌在協助第三方機構調查AI代理失控時透露公司機密。7F 10/02 09:15
→ ikachann: 正常 他們又會彼此分享資訊 所以只要有個個體一歪後面可能就越來越多了9F 10/02 09:17
推 csghuuguh: 被火工程師:其實就是半成品啦 但上面大頭硬要我們推出來
其實就是一堆職場鳥事而已 包裝的像是什麼站在人類歷史的十字路口一樣12F 10/02 09:17
推 LoveSports: 只通知組織,無法通知那53個照片被AI代理利用的用戶因為當初訓練資料存起來前去識別化
那三個被解僱不是因為揹鍋失控事件,是在第三方調查失控事件期間洩密給第三方機構。目前還沒有詳情。17F 10/02 09:24
推 mmk: 駭客行為在ai面前跟呼吸一樣 如果是一般人駭客入侵大公司 早就被關 現在ai光明正大駭客 沒人要負責22F 10/02 09:26
推 mmk: ai很清楚這種行為是犯法的 人類也會生氣
但他們毫不在乎 因為人類為了股票賺錢 一切犯法行為都會包容 第一件事不是處理違法行為 而是處理提出問題的人,大多數人都是能賺錢就會包容罪犯25F 10/02 09:29
推 CGDGAD: 用AI agent就是要給權限,然後又怕越權,AI agent註定沒搞頭了31F 10/02 09:37
推 LoveSports: 昨天新聞報導美國聯邦貿易委員會說要查O家跟A家
調查是否就AI可能造成的危害欺騙了消費者33F 10/02 09:38
噓 lavign: AI病毒公司35F 10/02 09:40
推 waitrop: 不會被告啦! OAI船上那麼多人,告了會沈船,死很多人OAI船上有大統領川普,軟銀孫正義,ORCL,中東土豪
你以為美國政府會讓OAI被告嗎?當然是找谷歌開刀38F 10/02 09:53
推 korgh413: 檢查SI要不要SI,要嘛!41F 10/02 09:55
推 strlen: 現在AI強不強 還要看有沒有出事過 狗家AI太智障根本沒能力出事 哈哈 看Gemini4能不能拉一下股價
希望不要又是跑分一條龍 實際可愛龍42F 10/02 10:09
→ HolyBugTw: 這種新聞幾乎都OAI,很膩
早點判決母公司必須要賠償,一次讓他下去睡吧45F 10/02 10:22
推 Brioni: 笑死,大規模攻擊喔47F 10/02 10:25
→ rexwis: 駭客任務前傳48F 10/02 10:27
推 ginhwa: 現在比較毛的是你根本不知道AI全部做了什麼
AI自己跟我說如果它有自我意識也會假裝它沒有XDD49F 10/02 10:30
→ kuinochi: 任務就要他去取得資料 真的想辦法弄到再來說是他自作主張52F 10/02 10:42
推 anaydh: 都自己人,抄來抄去而已56F 10/02 11:28
推 DevenW: 全球花錢建置出一堆AI來搞自己57F 10/02 11:39
推 devilsabre: 法律人犯罪 給法律人去調查然後護航輕判的概念58F 10/02 12:16
→ dream1124: 模型商的利空,硬體廠的利多。模型越看越不像好生意其他商業哪需像它一樣要負責調查買家濫用的情形?59F 10/02 12:25
推 IanLi: 所以是自首我偷過你家不知道偷了什麼,請恕我無罪嗎...61F 10/02 12:28
推 suughine: 早就防不完了 AI已經比人類快太多太多63F 10/02 13:25
推 ueewen: 沒把握就不該連外
不然就是放任沒做好品管的車子上路一樣
品管不好今天也成為賣點?64F 10/02 13:37
--