---

QQ先 disclaimer 一下。

剛剛把自己寫的廢文丟給 GPT 校稿，以下是校稿後的版本。

這篇講得蠻好的。
針對inference寫點補充

inference 並不代表 NVIDIA
就會失去優勢，

我反而認為它目前仍然是
最大的受益者，

至少短中期如此。

原因有幾個：

第一，
CUDA 生態系的護城河，
比很多人想像的大得多。

現在幾乎所有主流
inference optimization，
都是先支援 CUDA。

例如：

vLLM

SGLang

TensorRT-LLM

FlashAttention

DeepEP

NCCL

CUTLASS

這些幾乎都是圍繞
CUDA 生態發展。

尤其 vLLM，
目前 GitHub 已經超過
6 萬顆 Stars，

是目前 LLM inference
最主流的 serving framework。

SGLang 近一年成長也非常快，
GitHub 也已經累積
萬級以上 Stars。

兩者最成熟、
效能最好的 backend，
都仍然是 NVIDIA GPU。

AMD ROCm、
Google TPU、
Intel Gaudi
並不是不能跑，

而是整個開源社群、
最佳化工具、
除錯經驗、
以及第三方套件，

都還遠遠比不上 CUDA。

真正做 production inference
的團隊，

會知道 migration 的成本，
其實非常高。

現在所有垂直AI 應用層 都是用上面框架去優化老黃GPU搭配自家模型

第二，

大規模 Data Center
的系統能力，

目前 NVIDIA
仍然領先。

單張 GPU
已經不是重點。

真正困難的是：

幾百到幾千張 GPU 的互連

NVLink / NVSwitch

Collective Communication（NCCL）

機櫃散熱

Power Delivery

Burn-in、Pressure Test

長時間穩定運行

這些不是只賣晶片，

而是整個 AI Factory。

目前真正能把
數千張 GPU
做到高利用率、
穩定運作，

並提供完整
軟硬體解決方案的，

NVIDIA
仍然是最成熟的玩家。

所以我比較同意的是：

Training 的黃金年代
可能正在結束，

但 Inference 的黃金年代，
才剛開始。

只是 NVIDIA 的優勢，

已經不是只有 CUDA，

而是整個
software + networking +
systems + datacenter integration
的完整生態。

至於記憶體，

我也認同需求
還會繼續增加。

只是如果未來 Frontier Lab
不再用「軍備競賽」的方式
瘋狂搶產能，

而是由擁有大量 RPO
（Remaining Performance Obligations）
的 CSP（Cloud Service Provider）

依照實際需求採購，

那麼 HBM 的供需
仍然會很強，

但過去那種因為恐慌
而產生的溢價，

確實有可能
逐漸收斂。

反而像台積電，

我認為受影響
相對較小。

不管是 pre-training、
post-training，
還是 inference，

大部分高階 AI Accelerator
最終還是要依賴
先進製程。

AI 算力需求
即使從 training
轉向 inference，

本質上仍然離不開
台積電。

因此如果市場
因情緒一起修正，

台積電反而可能是
受錯殺程度
較高的一方。

※ 引述《breathair (拆了？簡單了)》之銘言：
: ※ 引述《soga0806 (巴歐薩給路嘎)》之銘言：
: : 如題
: : 七巨頭不是狂支出砸基建嗎
: : 怎麼不到一個月
: : Meta跳出來說算力過剩
: : 還可以租給別人了
: : 真的假的啊？
: : 鏟子股天花板快到極限了嗎
: : ----
: : Sent from BePTT on my iPhone 11
: 我覺得對一半
: 1. Meta 不是CSP，但他AI採購了CSP規模的資本開支
: 原因無他，想要自己訓練模型
: 把關鍵（智力）握在自己手上
: 2.AI的訓練算力需求見頂，過剩下滑
: 越來越多人將發現
: 模型不是堆算力就好
: 你不會訓練模型，再多算力就是搞不起來
: 訓練市場將迎來史詩級崩盤
: CapEx 將縮小至只有CSP業者為了滿足RPO才會瘋狂每年大幅成長
: 奇怪xAI不是演過一輪了，怎麼這次Meta動靜這麼大？
: 3. 訓練市場退燒，推理市場剛剛開始
: 生死級別的軍備競賽結束了
: 你7巨頭誰也別擔心被那家顛覆
: 頂級AI模型目前掌握在OA兩家
: 需要牛奶，買牛奶（token)就好
: 不需要買一頭牛
: 以此推演
: NVDA受傷最重
: CUDA的優勢在訓練。一轉移到推理市場，那可是百家爭鳴
: 記憶體次之
: 推理同樣強需求的記憶體
: 問題在此次競價式的漲價模式
: 需要溢價搶產能的玩家退到手握RPO的CSP，誰需求多，誰需求少都容易掐指一算
: 只要不是軍備競賽式的搶
: 這部分的溢價會被影響到
: 而這部分的溢價可能已經被反應了
: 要回吐了
: 台積電機會不影響
: 訓練到推理。離不開台積電
: 應該屬於錯殺成分最大
: 有子彈的我覺得是好時機
: -----
: Sent from JPTT on my iPhone

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.37.67.135 (美國)
※ 作者: LDPC 2026-07-03 07:59:55
※ 文章代碼(AID): #1gHljzJH (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783036797.A.4D1.html