---

※ 引述《googstar (股大濕)》之銘言：
: ※ 引述《minazukimaya (水無月真夜)》之銘言：
: : 沒關係，偷偷告訴你一個Insight
: : 今年NeurIPS 2025有一篇超重量級的論文
: : Introducing Nested Learning
: : 這篇文論的重要程度不亞於Attention is all you need
: : 甚至可以說有過之而無不及
: : Transfomer架構只是發明了蒸氣機
: : Nested Learning這篇論文，簡直就是熱力學定律的等級了
: : 基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例)
: : 未來三到五年，全面轉向Nested Learning的時代
: 如果真的架構更改 那對輝達反而更有利吧?
: 這幾年設計的ASIC都是基於Transformer架構
: 基本上要整個打掉重來 重新設計新的ASIC
: 那就又一次輪迴循環 只能利用NV GPU挺過過渡期
: 等架構整個穩定 再設計適配的ASIC
: 每更改一次架構 就讓GPU的商業可用性拉長更多時間
: 另外假如真的實現agi 對算力的需求會再來一次幾倍的成長的
: LLM的泛用性 還不夠廣
: agi幾乎什麼都能做 同時也代表架構穩定需要一段時間
: 其實也會讓NV能賺爛的時間更長

我是做晶片跟系統架構的,
不是做AI模型的,
所以無法回答LLM跟Nested Learning相關問題,
但是就回答 "如果真的架構更改 那對輝達反而更有利吧?"
答案是的,
而且NVDA已經做了:
https://nvidianews.nvidia.com/news/nvidia-unveils-rubin-cpx-
a-new-class-of-gpu-designed-for-massive-context-inference

Rubin CPX 就是為了 Memory Wall 等問題設計的架構

然後,
我又要繼續老話重提,
Memory Wall 的問題在業界已經很多年了,
不是什麼很新奇的事情,
但是 就是沒人願意解決,
就像是Scaling Law 可能已經或是快失效一樣的道理,
很多事情業界都知道,
但是沒人願意去改算法改架構,
我每篇文章大喊方向錯了, 要改算法改架構,
只是被當笑話

就像我之前的文章說的,
這十幾年來,
只有谷歌跟輝達願意去嘗試改算法改架構,
其他公司都在玩MBA那套,
算投資效益,算CP值,盡量裁員並且節省成本,
改算法改架構就是要冒風險,
並且跟MBA那套理論完全相違背

再回到Memory Wall 與 Nested Learning,
Nvidia Rubin CPX 想去解決或是增進Memory Wall 的效能瓶頸,
那麼當然下一代的TPU也會想到這問題與解法,
當然,
對於前幾代的TPU是很不利,
所以當切換到新的算法新的架構的時候,
GPU的通用性會比TPU更適合在新的算法與架構上運作,
這是絕對正確的

同樣的問題,
新的算法與新的架構不見得會成功,
Nested Learning 不見得會比現在的Transformer架構好,
很可能谷歌投入的資源在Nested Learning與相對應的NL XPU設計,
不見得會成功,
這真的很難說,
我先澆冷水 打預防針

Nested Learning 需要的XPU 應該是in memory compute 架構,
performance looks amazing

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 174.194.128.87 (美國)
※ 作者: waitrop 2025-12-14 18:53:53
※ 文章代碼(AID): #1fFfT4H1 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1765709636.A.441.html