看板 Stock
作者 minazukimaya (水無月真夜)
標題 Re: [新聞] 甲骨文股價暴跌超10%!訂單積壓越來越多 「燒錢」砸AI
時間 Sat Dec 13 03:06:12 2025


※ 引述《LDPC (Channel Coding)》之銘言:
: @@我是不知道其他世界線 我們公司有引入各種AI Tool
: 比方說在slack 我要開一個data bucket權限 (公司機密資料 權限最高級那種)
: 來測試我新模型 然後我就slack打serval (IT機器人公司方案)
: 他就開始一步步核對 然後最後一步還跟我說有各種data access 時間限制
: 然後就幫我設定好 然後最一關簽呈就是人類IT 這些步驟效率超越傳統IT很多
: 隨時都可以叫IT機器人幫我處理各種事情 前置作業大量弄好 只要一兩個人類做最後確認
: 同樣的 我在openai企業版(有專門設計給企業版) 這個整合內部公司所有文件資料
: 有一次我要設計模型 我就問這方面模型有誰設計過 結果他就拉出過去
: 三年各種歷史設計報個 還有各種benchmark 因為openai企業版可以整合公司資料庫
: 一下子我就能站在過去歷史巨人 不需要去問哪個部門之前幹過啥
: ai coding現在最大用途就是寫測試工具 真他x的好用 設計模型完之後 叫ai幫我寫
: script去做下游端大量測試
: 其他ai tool還有infenrece端可以直接調用prompt和觀察模型反應 以及notion
: 這種線上報告也引用自家ai tool 快速搜尋資料都挺方便
: 然後我們自己設計給下游顧客的ai tool 如果顧客說他工作時間沒縮短
: 那我們就拿不下訂單 現在垂直整合領域已經殺到紅血 每個tool 越蓋越先進QQ
: 我好想躺平 已經每天工時飆到16hr....... 改天再寫寫去NeurIPS看到的跡象
: Hinton/Jeff Dean/Yoshua Bengio/何凱明 任何你知道大神都去這今年NeurIPS
: 結論就是大廠真的要幹架了 Google DeepMind新政策 禁止發paper
: QQ 不發paper延伸意義就是 現在開始 狗家不會在開放他們自家模型設計秘密
: 目標就是要胖揍開放愛和其他競爭者...
: 目前狗家大量研究員生氣中 這次還有很多菁英邀請制度線下聚會 跑去蹭了NV/META
: 看到一堆海外的博士生在現場跪求進去Meta 線下聚會.......QQ
: 據說開放愛線下聚會是最難進去的 連地點和門路在哪都不知 只能被動邀請

沒關係,偷偷告訴你一個Insight
今年NeurIPS 2025有一篇超重量級的論文
Introducing Nested Learning
這篇文論的重要程度不亞於Attention is all you need
甚至可以說有過之而無不及

Transfomer架構只是發明了蒸氣機
Nested Learning這篇論文,簡直就是熱力學定律的等級了

基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例)
未來三到五年,全面轉向Nested Learning的時代

以下文字是我先寫一版,再請Gemini潤稿的洞察

--------這是AI潤稿的分隔線--------

當前 AI 發展正受制於一道物理鐵律:記憶體牆(Memory Wall)。傳統 Transformer 架
構依賴 KV Cache 維持上下文,這本質上是一種「以頻寬換取長度」的低效策略。隨
著上下文長度 T 的增加,Attention 機制的計算複雜度呈 O(T^2) 增長,而推論時
的記憶體搬運量呈 O(T) 線性增長。在 HBM 頻寬成長遠落後於 GPU 算力的現狀下,這
種依賴儲存大量未經壓縮原始狀態的架構,註定會從 Compute-Bound 跌落至 IO-Bound
的深淵。


Nested Learning 的出現,透過對記憶與推理本質的重新理解,為此困境帶來了典範轉移
級別的解答。

其核心突破在於「推論即訓練」的數學創新——Nested Learning 揭示了
Attention 機制在本質上等價於單步的梯度下降更新。基於此,HOPE 架構不再被動地檢
索歷史,而是主動將資訊即時壓縮為模型權重。這將原本受限於頻寬的檢索問題,轉化為
僅需固定算力的狀態更新問題,從根本上粉碎了記憶體牆。


在應用層面,這種架構徹底重塑了 AI 的個性化能力。HOPE 的動態記憶機制(Fast
Weights) 不再依賴傳統模型那種外掛式的提示詞(Prompting)來「模擬」短期記憶,
而是透過梯度更新,將使用者的偏好與習慣即時「內化」為模型參數的一部分。這不
僅在工程上根除了重複處理提示詞的算力浪費,更在體驗上創造出具備「演化能力」的專
屬模型,讓 AI 隨著每一次互動變得更懂你。

這一變革預示著當前 HBM 需求高速增長的趨勢將顯著放緩,技術改革的方向將轉向針對
不同更新層級的硬體特化:

邊緣裝置 (Edge): 承載高頻更新的快層,將不再單純追求頻寬,而是轉向追求大容量
SRAM 與極致的能效比,以支撐毫秒級的狀態寫入與計算。

雲端中心 (Cloud): 承載低頻更新的慢層,為了處理更複雜的邏輯推理與龐大的智能結
構,將演化出針對非歐幾何的特化運算單元,以在雙曲空間中實現更高維度的高效推理。

----------這是AI潤稿的分隔線-----------

你各位要小心HBM市場在2026年末的崩潰反轉
短期因為各種高頻信號,還是會持續推高HBM的市場價格
然後記憶體因為這些需求訊號,會瘋狂擴廠

等到「基於超大KV Cache的Transfomer架構」路徑依賴崩潰
新架構全面轉向HOPE的時侯
嘻嘻 刺激囉~~~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.172 (日本)
※ 作者: minazukimaya 2025-12-13 03:06:12
※ 文章代碼(AID): #1fF6Uc_j (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1765566374.A.FED.html
ksjr: 因為這新架構 google是不是又要重新設計TPU拉?1F 12/13 03:10
遙遙領先,狗家的硬體和計算架構和前沿論文研究,具有高度的一致性
互相加成,互相協同,full-stack優化
等到其他大廠醒悟過來,發現Nested learning才是正確方向
決定要放棄Transfomer時,狗家已經領先一年到一年半了

不信你丟給ai問,可以多問幾間互相比對
當然,要用正確的方式問才會得到正確的答案
你要先有足夠的背景知識才能識破關鍵點,問出最重要的問題

問問題的能力,大概就是新時代最重要的能力了XD
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:16:47
iecju520: 我看你根本不懂AI吧...2F 12/13 03:22
rayray0410: 看到這ID就先推3F 12/13 03:24
L1ON: 我在看openai倒數計時4F 12/13 03:27
ccneptunecc: 放棄transformer架構是否意味著需要更多GPU?5F 12/13 03:41
如果是以「當前同等能力模型」作為基準 答案是不會
因為Transformer+KV Cache是一種很低效的推論模型
低密度的無壓縮資訊儲存+重覆計算AttentionMap
導致超大量的能源浪費(算力和資料搬運成本兩者都是)
Nested Learning使用正確的層級特化結構的話 在推論期可以省下五到十倍的能源消耗

不過,架構優化和模型能力提升是兩步走的
在架構優化釋放出來的算力,最終會導致模型繼續依照Scaling Law擴大

所以結果是「省了十倍的能耗,那模型就能再大十倍」(這不是正確的數學,只是比喻)
算力需求永遠存在,因為文明的本質就是計算
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:55:45
kuku951: 需要更多GPU就需要更多記憶體…6F 12/13 03:55
需要從更細致的視角去切入
SRAM也是記憶元件 HBM也是 Host DRAM(LPDDR)也是
計算也一樣 tensor core是計算元件 systolic array也是計算元件
近存運算也是計算元件

所以「在哪裡計算,在哪裡儲存,如何搬運資料」從來就不是一個單一命題
一切都要從架構與系統級的視角下去拆解,才會根據需求得出一個答案

這也是為什麼邊緣層和雲端層會發展出不同的計算架構 因為需求不同
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:59:39
ng101281: 一根戳破泡沫的針來了7F 12/13 04:03
kuku951: 感謝分享,這東西真的挺牛的,說不定這會是未來AGI的先驅,順便回覆樓上,如果這東西是真的搞得出來,那就是戳破那些說AI泡沫的人8F 12/13 04:08
roseritter: 硬體現實有餘裕的話,原本現在吹的天文級算力需求很難蓋出來
改新玩法就能現實點11F 12/13 04:59
研究(Model Refinement)時代和擴增(Scaling)時代是輪流出現的
Ilya Sutskever最近有一篇訪談可以看看
正如他所說,接下來時代巨輪要轉回模型改進了

不過,等到模型改進得差不多,又會重啟擴增時代
這兩個時代的過度也是漸變的,不是一刀切
「文明的本質就是計算」
你如果看不懂這一大堆Big Tech誰會贏,那也沒差
買2330 永遠是對的

tigerzz3: 好久沒看到mina大 預計何時開撿?還是保守看?14F 12/13 05:07
感謝GOOG爆噴一波,現在YTD 90%了(真是出乎我意料..11月初時我本來已經躺平了)
https://i.imgur.com/NHJP572.png
[圖]

不過我在11月底賣掉一部份GOOG撿了NVDA,作整體部位Rebalance
然後今天就吃了一根超~~~級大的,腳麻了,哭啊

shead1983: 這篇好驚人,感謝高高手分享內容,讀完後的感想是美光全力衝刺HBM,是不是慘惹?15F 12/13 05:08
嘻嘻 其實這篇只是我得到的洞察的一小角而已
真正重要的我沒說,不過這篇其實有很多引子
比方說在模型最深層(最慢層),需要非歐幾何的雙曲空間語義空間
(提示: Transfomer的語義空間是平面的)
這在Nested Learning論文裡是完全沒提的,是另幾篇資訊幾何學的研究

aegis43210: 現在的確是有AI泡沫,但目前要看是啤酒先裝滿或是泡沫先消掉
不過邊緣運算中,未來NAND看起來會是最缺的17F 12/13 05:10
考慮一個五層結構,最淺兩層(L1~L2)在邊緣,三層(L3~L5)在雲端
你猜猜看L1需要多少參數量? 答案可能出乎你意料的小
完全不需要放在NAND

而且從最快層的「權重即時更新」需求來看,也不能可能放在NAND

tigerzz3: 今天這種盤 狗家不到1%真的太扯20F 12/13 05:14
kuku951: 衝刺HBM怎麼會慘… 這個做法還真有可能解決HBM的困境 然後HBM的優勢在於頻寬跟速度 一定是未來最需要21F 12/13 05:15
HBM的頻寬和速度很重要 這敘述沒問題
不過HBM的總需求是容量(Capcity)決定的
猜猜看如果把最深層的語義空間從平面換成雙曲,參數量會變成多少?
有論文可以查的,查查看
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 05:44:36
flyawayla: 花一整個早上快速掃完,看起來運算沒減少反而更多,不同頻率互相獨立,不獨立我猜就要用記憶體存參數,也沒有看到討論訓練速度,通常沒有就表示一定更花時間,心得是中立,畢竟都發一個月了,可以再等等看其他團隊有沒有跟上24F 12/13 05:53
我覺得你關注錯重點,HOPE架構的工程實作不是論文中最重要的部份
數學表達才是,這篇論文就算把HOPE架構整個去掉
純理論的部份就有相當於熱力學定律的價值

這代表一種更接近「知識、記憶、推理」的物理本質的理論
從而讓各大模型研究商能在巢狀學習的理論範式下,自由去探索各自的工程實現
類比於你有了熱力學定律之後,各種形式的熱機都有理論依據了

你看我前面對於未來模型的敘述(雲邊協同、不同語義空間的五層結構)
這和論文中簡化過的HOPE模型壓根就不是一回事對吧
因為HOPE模型的設計只是要作為論文的實證用途
而不是真正具備下一代模型的「工程可行性」&「商業可行性」的實作

至於下一代實作「可能會長什麼樣子」
那自然是不會在這裡解釋了...
反正即使我提了 99.99%的股板眾也是鴨子聽雷啊

waitrop: 當你看到論文的時候,早就有特定的TPU xpu 了29F 12/13 06:03
狗家員工內線消息
我要是真信了 你就是在內線交易囉!!!

就事論事 TPUv7沒有明顯針對Nested learning的痛點去優化
(當然也沒有明顯不能跑的理由,依然可以跑)
至於v8之後怎麼設計,現在也沒有公開消息

比起雲端,我覺得現在是邊緣的計算架構沒跟上Nested Learning的需求

Morphee: 先問一個問題 2017年 attention 出來之後
你是否從技術押注中賺超過幾個億? 如果沒有30F 12/13 06:07
有 嘻嘻
你再回去翻翻我2019年談AI革命的文章
當時也是一樣,完全沒有人看懂我說什麼

Morphee: 那 Nested Learning 也只是一個數據很普的實驗32F 12/13 06:09
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 06:11:00
newwu: 想想這運用到大規模,多客戶的時候,這真的會讓記憶體減少嗎
*會讓記憶體使用量減少嗎?33F 12/13 06:21
waitrop: 邊緣計算也會跟上nested learning ,也有相對應的TPU xpu
會讓記憶體用量增加,但是不是hbm ,不能再多說了36F 12/13 06:26
如果根據手機上最快層的即時更新需求去推導
很明顯是要SRAM,而且不能和L1 Cache共用
既然要能放進整個最快層的權重,即使以INT4/INT8高度壓縮,也需要很大一塊SRAM
考慮到除了慢權重(預訓練參數)之外還要放快權重(記憶狀態)
加一加要個2~4MB的獨立SRAM是跑不掉的

fisher6879: 呱呱呱,數學不會背叛我,不會就是不會,不過AI推論的HBM需求下滑結論還是看得懂的,感謝mina大分享,天網是不是又加速啦?啾命Rrrr39F 12/13 06:29
真der 天網近了 悔改吧

googstar: 非goog的asic又要準備被輝達gpu揍爛了 改架構最能適應的就輝達42F 12/13 06:31
losage: 你應該要請open潤稿,g家唯一缺點就是不會說人話44F 12/13 06:33
我故意的 實際上Gemini Canvas寫小作文可以調長度
調越長它會試著擴寫 解釋的更清楚  但是我偏不 嘻嘻
說真的,看不懂的人,就把我整篇文字+NL的論文都餵給AI
然後再問AI就好啦,時代都是這樣了,要善用AI啊

steven853: 所以結論是allin asic?45F 12/13 06:34
waitrop: 沒錯,gb300的Rubin 三小的就是為了解決memory wall ,這問題業界都知道,但是願意改架構改算法的公司,也就只有谷歌跟輝達46F 12/13 06:34
Ipluck: 回過頭看M大2019第一篇文真的是含金量十足   當時就看的這麼徹底真的厲害49F 12/13 06:36
一般來說我是看未來3~5年的,再遠的我也看不到了
所以2019那篇講的是2019~2024的AI革命
這篇講的是2025~2030「通往AGI之路」

bunjie: 先推在看51F 12/13 06:37
audic: 核心權重會隨互動漂移=不可重現、不可審計、極易被誤導,現實系統根本不敢上線,頂多停在論文52F 12/13 06:38
回到上述的五層系統
你完全可以把最深層的(物理定律、道德價值、信念)基底層
靜態權重完全鎖定不更新,來防止惡意注入

論文提示的是一種數學架構,你理解了整個數學架構的話
實務上你完全有各種工程實作的細節去彌合你的需求

當然我完全同意這種動態學習的系統,在正式上線前一定要經過嚴格的對齊測試
不過這不會構成「永遠不會有能夠動態學習的系統」的理由

tsubasawolfy: 這名字取得好…看到就大概知道他要幹嘛54F 12/13 06:42
ksjr: 有拉今天下午當薪水小偷時有問copilot 不過這個也發55F 12/13 06:44
elliotpepe: 先推一個,未來再回顧56F 12/13 06:44
ksjr: nested learning十一月初就發了 好像股價已反應?57F 12/13 06:45
Morphee: 雲端跟edge會重分配吧 為啥會亂飄58F 12/13 06:47
看你每一層的更新頻率怎麼設定
再以五層模型舉例的話
雲端的L3可能是event-driven更新、L4可能是每天更新一次
L5就如上述所說,最好是不要亂更新

googstar: 真的通往agi只會讓整個ai產業算力需求持續飆升?
看來輝達真的太便宜59F 12/13 06:53
買2330 永遠正確
鐵打的Foundry,流水的Design House

guanting886: 感謝分享61F 12/13 06:57
afflic: 2330有機會變成全球市值前三嗎62F 12/13 06:58
Morphee: AMD效率轉折受益者/Apple邊緣語義既得利益者63F 12/13 06:58
爽到Apple 躺平到最後天上掉餡餅 賽道重置
抱緊GOOG大腿就贏那些花了幾百億美金看別人車尾燈的

breathair: 我只後悔都看對了,轉倉太慢還一堆QQQ,XD不過至少早一步清掉TSM跟NVDA64F 12/13 06:59
tomtowin: 重點是SRAM,就是買2330,感謝分享66F 12/13 07:00
deltawai: 感謝67F 12/13 07:01
chives465: 推M大,請問除了TSM,AVGO會建議買入嗎?68F 12/13 07:04
Morphee: 想了一下 Hyperbolic若起來 NV還是比AMD有利69F 12/13 07:04
qwe78971: 股票不講這個 所以短期內沒用 到時候早就換股了70F 12/13 07:06
Morphee: 看軟體是否續補topology-aware跟memory-flow API71F 12/13 07:08
不過,最深層語義改用雙曲,這可能是這篇文章裡最弱的推定
因為用現有的硬體算雙曲空間,那個運算量之驚人
光一個龐加萊距離就比歐幾里德距離高不止十倍運算量了

所以在專算雙曲的特化硬體內建之前
很有可能就是平面或球面加減用了

「切換深層語義空間」本質上就是「計算量 vs 記憶體容量/頻寬」的交換與權衡
雖然最終一定是會切到雙曲,但是這個改變要幾年發生,很難預估
快的話可能三五年,慢的話可能十年

billionerx10: 看來自研asic可能會是一條非常不明智的路 架構一改整個無用72F 12/13 07:16
hduek153: 分享推74F 12/13 07:18
kottas: 好文75F 12/13 07:19
jay412210: 我2330是最大贏家76F 12/13 07:24
abyssa1: 要放SRAM 那就回到CCW 說的 產能遠遠不夠77F 12/13 07:28
邊緣需要大SRAM,雲端不需要
至於邊緣什麼時侯真正爆發
那當然是要等Nested Learning的動態學習模型成為主流才行
畢竟單層的Transfomer是不可能在邊緣裝置跑的

當然,如果說Nested Learning的最快層實際上跑Transformer,那是有可能的
不過在這種情況下,L1層跑Transfomer+滑動窗口KV Cache(模擬工作記憶)
比起直插一個固定大小的RNN作為工作記憶,並沒有特別的優勢

總之,要看到邊緣裝置爆發
大概會是2027~28之後的增長點了

GinginDenSha: 推,呆灣房子買起來,呆民財富持續噴射78F 12/13 07:30
littlelaba: 一句話 做多還做空啦79F 12/13 07:32
whyhsu: 好80F 12/13 07:35
suzuke: Nested Learning 推論即訓練聽起來很美好,但是你要知道現在的推論只要做「前向傳播 (Forward Pass)」,運算量相對小。Nested Learning在推論時,內部還要做反向傳播 (Backward Pass)或梯度更新,每生成一個字,計算量可能變成原本的 2-3 倍。再來訓練穩定性極差,也還不能平行化,這些問題沒解決前,它想要成為LLM的聖杯取代Transformers 還太早81F 12/13 07:39
你這屬於論文沒看清楚,或是直接丟AI叫它生答案的結果
再看清楚一點,HOPE架構的最快層有作反向傳播嗎??
在一個參數量很小、只處理簡單語義連結的最快層,直接一個DGD作掉了

要請AI讀論文,也要有足夠的背景知識,不然你根本不知道關鍵在哪
AI隨便說你隨便信

Morphee: 從Attention到ChatGPT也差不多五年 合理的時間尺度88F 12/13 07:40
gcarrot: 我也是11月底清了GOOG, 買入NVDA, 現在有點痛..89F 12/13 07:45
都是ORCL的錯 救救NVDA 救救

Morphee: 樓上你講得也是我問的問題 2017年你看到Attention樓樓上才對 也可以說出類似的論點 Attention要成為AI聖杯還早 NLP還不成熟等等90F 12/13 07:45
任何洞見從技術前沿傳導到普羅大眾都要時間
這我五年前講AI革命時就說過一次了
問題是,當一個洞見變成新聞每天狂報的時侯,早就失去交易價值了

n555123: 推93F 12/13 07:48
mamorui: 菇菇之前有提過,今年下半年正式進入聖杯終戰(我個人預計三年時間) ,市場通常第二年上半場會開始醞釀分勝負的前奏94F 12/13 07:51
aspirev3: 邊緣裝置爆發 還跟七巨頭有關嗎97F 12/13 07:51
jimjim951357: 感謝分享98F 12/13 07:52
ejnfu: 所以要買哪支? Google NVDA都已有了99F 12/13 07:52
ykjiang: 這用TPU跑一定悲劇,GPU勉強可以,ASIC有得等
不過NL不會太快取代現有的LLM,即使硬體充分支援
每個人都雲端學習自己的AI model,學出來還都不同太不可控了
可以考慮邊緣端的應用,不過風險還是很高,容易被告428F 12/14 02:00
JKjohnwick: 太唬爛,這要甚麼時候商轉,甚麼時候價格降下來
如果可行的話,採購第一個轉過來買這個433F 12/14 13:43
mtm: 這是股版目前最有料的一篇
9月的時候要減碼TSM,現在要趕快補回來了嗎435F 12/14 14:59

--
作者 minazukimaya 的最新發文:
點此顯示更多發文記錄