回上層
Disp BBS
看板 Stock
作者 waitrop (嘴砲無雙)
標題 Re: [請益] 算力需求到底是缺還是快飽和了？
時間 Fri Jul  3 05:00:00 2026

※ 引述《maplefff (降息の恐怖嘎鱷)》之銘言：
: ※ 引述《soga0806 (巴歐薩給路嘎)》之銘言：
: : 如題
: : 七巨頭不是狂支出砸基建嗎
: : 怎麼不到一個月
: : Meta跳出來說算力過剩
: : 還可以租給別人了
: : 真的假的啊？
: : 鏟子股天花板快到極限了嗎
: : ----
: : Sent from BePTT on my iPhone 11
: 這要從兩個層面去分析當前現況: 模型層 和 雲基礎設施層
: 如果只評估最能盈利的toB coding方向, 目前主要LLM提供商能力大致如下
: Anthropic > OpenAI >>>> Gemini >= 中國模型 > grok, meta, others
: 模型層營收開始出現顯著分化, 開始往兩超集中, 並且愈來愈集中的態勢
: 模型商品化, 白菜化的敘事落空, 市場看法逐漸轉向並不是花大錢, 疊加算力
: 就能得到前沿模型能力. 前沿LLM供應商保有足夠多的隱秘知識, 並逐漸壟斷市場
: 這表示Anthropic, Open AI 營收增速高100%, 毛利率60%~高70%可能是可持續的
: 能見度至少有半年, 並可能延長到1~2年以上
: 模型層的高毛利使得模型供應商有能力支付高溢價購買算力
: 所以高毛利會逐漸傳導到雲基礎設施供應商, 大幅改善4大CSP業者的現金流
: 並繼續推動AI基礎設施的擴充
: 這裡有幾個消息或資訊可以應證該推論
: 1. AWS 7/1開始對EC2 ML服務直接漲價20%:
: 這是既26年1月調漲15%, 最新一輪的漲價; 並且漲幅比之前更大, 年內累積漲幅達38%.
: H100(P5)報價:
: 1月前: ~$3.8/hr  1~6月:~$4.3/hr  7月: ~$5.2/hr
: H200(P5e)報價：
: 1月前: ~$4.3/hr  1~6月:~$5.0/hr  7月: ~$6.0/hr
: B200(P6-B200)報價：
: 1月前: NA        1~6月:~$10.3/hr 7月: ~$12.4/hr
: 2. Vast.ai上的價格:
: Vast.ai是目前市場上最大的P2P GPU租賃平台, 其代表的意義是GPU租賃地板價
: 因為市場肯定是從: 四大CSP -> NeoCloud -> Vast.ai等另類平台
: 這樣的順序去依序尋找算力，上一層價格太貴才會往下找, 所以價格對需求外溢
: 的敏感度會非常高.
: Vast.ai另外一個好處是價格是即時撮合出來並留有歷史季度
: https://vast.ai/pricing/gpu/B200
: 可以看到價格從1月開始逐步緩漲, 到5月矽谷開始Tokenmaxing狂潮,
: 價格中價暴漲將近100%, 然後逐漸回歸理性, 但年內依然累積60%左右漲幅
: 最後結論一下：總得來講LLM市場競爭正在逐漸去泡沫, 淘汰實力較弱的參與者
: 並轉向合理的寡頭壟斷, 這使得LLM行業能保持合理毛利率, 並逐漸擴散到整體相關行業
: 在模型層失利的廠商, 透過轉化現有GPU去基礎設施層改善現金流和資產價值
: 是理性的雙贏選擇, 推論其為泡沫破裂的早期徵兆是嚴重滑坡
: CSP, NV股價有被低估, 記憶體股價低得誇張, 可以攤平購買

先說結論,
算力還是很缺,
記憶體, 尤其是DRAM, 還是很缺

詳細原因,
我在幾個星期前有解釋過
https://www.ptt.cc/bbs/Stock/M.1782458086.A.529.html
Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高 - Stock板 - Disp BBS
[圖]
[圖]
[圖]
waitrop 先說我個人看法: CXL DRAM, 不是HBM, 股票的話 就是MRVL, 但是我沒有買MRVL, 不要找我負責 以電腦架構來看, HBM 不會一直這樣快速增長上去, HBM的速度非常快, 價格/

撇開不能說,
以及家醜不能外揚的部分,
可惜這部分才是最精彩的地方,
我說的都是我在業界現在正在看到的情況

從去年下半年開始,
尤其Gemini 追上 OpenAI Claude 之後,
LLM 訓練部分已經不是瓶頸,
因為各家大模型現在訓練出來都差不多聰明,
沒有到差距很大,
如果你有感覺差距很大,
那是信仰的問題,
當然Claude 在 coding 這塊是真的強也真的好用,
這些就不多說, 會引戰

反正去年下半年之後,
主戰場就轉移到推理inference 上面,
也就是AI API token 等應用層面上,
而inference 推理市場是訓練市場的百倍千倍以上,
所以怎麼可能會算力過剩,
推理應用市場所需要的算力遠遠不足,
你看Gemini 現在的表現就知道推理的算力還是不足

Meta 跟 xai 算力出租代表的是他們退出AI訓練競爭,
也就是退出AI 模型競爭,
轉型成為資料中心的包租公,
你就想成像是類似ORCL Corewave等公司的形式,
不開發模型, 單純出租算力

這不表示算力過剩,
只是表示他們退出AI模型競爭,
現在算力都用在推理inference,
用在每一筆AI API token,
也就是真正能生出錢的地方,
只要token 還有需求,
算力就會有需求

除了谷歌之外,
模型商跟CSP廠是各自有自己的算盤,
以CSP廠的角度, 包含Meta xai+cursor等,
他們的商業想法是,
如果以後每一個模型都差不多一樣聰明,
那麼真正有議價權跟控制權的是掌握算力的一方,
也就是CSP廠,
cursor 套皮可以隨意轉換任何模型,
CSP廠跟meta 等算力出租公司,
可以壓低模型價格可以用自己的算力去議價

在模型商的想法是相反,
如果模型商能出一個遙遙領先最聰明的模型, 甚至是AGI,
那麼有議價權跟控制權的是這個唯一的AGI 模型,
他們可以隨意轉換CSP廠壓低算力價格,
最好的例子就是OpenAI 怎麼去凹 微軟跟ORCL的算力

所以這很難說 誰會勝出,
你覺得以後會有唯一的AGI真神模型,
還是以後所有的模型都差不多一樣聰明的爛大街模型,
我沒有答案就是了

Anyway, 扯遠了,
反正訓練模型只剩三家在玩,
但是inference 推理市場是百家爭鳴,
賣token 的是算力遠遠不足,
而其中,
DRAM 對inference 的需求會遠高於HBM,
ASIC 對inference 的需求會遠高於GPU,
這道理就是量大管飽,
API token 要的就是量大管飽,
速度差一點沒關係

或者我們用生活上的例子來說明,
台北到高雄,
你可以選擇坐飛機, 坐高鐵, 坐台鐵,
開法拉利, 開Toyota,
甚至可以選擇坐統聯, 或是騎腳踏車一日雙城,
這跟你的乘客量還有票價有很大的相關性,
inference 推理的API token 要的就是量大管飽,
每個token 的單價要壓到最低,
吞吐量要最大,
所以訓練是開法拉利, 推理是坐公車,
訓練是坐飛機, 推理是搭公車

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
※ 作者: waitrop 2026-07-03 05:00:00
※ 文章代碼(AID): #1gHj5Iix (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783026002.A.B3B.html
※ 同主題文章:
[請益] 算力需求到底是缺還是快飽和了？
07-02 22:23 soga0806.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-03 05:00 waitrop.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-03 07:59 LDPC.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-03 10:38 waitrop.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-03 14:24 wahaha99.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-05 13:35 f26724309.
Re: [請益] 算力需求到底是缺還是快飽和了？
07-05 18:57 ImHoluCan.
推 davie11333: 謝謝分享 99記憶卡蛙QQ1F 07/03 05:04
推 a635088: Mete明明是說如果過有富裕會出租目前還沒有自己用不完的算力直接被標題找理由長多殺爛散戶被騙出來多殺多2F 07/03 05:15
推 jason168: 推淺顯易懂的解釋5F 07/03 05:18
→ visadanny: 華爾街一定知道算力不夠 吵算力過剩的都是假議題
重點還是在押注巨頭會不會減少資本支出 整體Ai軟體部分賺的錢夠不夠支撐硬體的支出 不然借錢蓋資料中心稀釋股權 股東早晚會抗議6F 07/03 05:19
推 kurenaiz: 感謝W大解釋 不過目前記憶體三星海力士美光都是偏向HBM 那也就是之後他們會看情況再回頭做DRAM了10F 07/03 05:45
最近業界給美光的訂單大部分都是DRAM,
尤其inference大部分都是Dram

推 a98562343: 記憶卡蛙已經滿手血 每天只有更低12F 07/03 05:47
推 samir: 推13F 07/03 05:49
→ kilo7: 記憶體很缺 但中環賣軟鋼還賠錢？14F 07/03 05:51
※ 編輯: waitrop (76.103.225.6 美國), 07/03/2026 05:59:50
→ ookimoo: LLM絕對生不出AGI
過度投資而產出的低差異化在27 28 29年會讓半導體跌掉接近90%15F 07/03 05:59
推 bj45566: 記憶體真的很缺啊，而且記憶體很容易就變成軟體效能的最大瓶頸 -- PTT 當年能成為全台灣甚至全世界承載同時上線人數最多的 BBS, 很大部份原因就是狠狠地把記憶體加好加滿...18F 07/03 06:02
推 ben108472: 算力很缺，所以出租不是更划算嗎22F 07/03 06:04
是呀!
我沒有說META的決定不對,
如果模型拼不過別人,
本來就是早點認輸改出租更划算

我也都分析了模型商跟CSP+META+xai 他們各自盤算,
這其中,
只有谷歌是被逼著必須去比拼模型,
其他人沒有這壓力,
認輸出租算力對他們完全沒影響
※ 編輯: waitrop (76.103.225.6 美國), 07/03/2026 06:12:05
推 Riesz: 因為阿祖軟體不行  她25年前交友軟體可能世界第一23F 07/03 06:09
推 jeremy89183: 但能用HBM誰會用DRAM 除非說KV Cache用的HBM真的貴用不了了？24F 07/03 06:16
→ Riesz: 阿祖就是姑姑說的  七巨頭  聖杯戰爭中的魔術師~~一開始最華麗  但也是第一個被幹掉的~~26F 07/03 06:18
噓 yunf: 有沒有可能去高雄根本就是個錯誤的選項？28F 07/03 06:25
→ Riesz: 相當於阿祖買了10萬台電腦  現在變成一萬間網咖出租韓國男人  25歲~~35歲歐巴正五買太多  跌5%就熔斷惹29F 07/03 06:27
→ DonDonFans: 對啊 怎麼不去台中要去高雄31F 07/03 06:27
噓 photoless: 台中 高雄 不好玩，為何還要去
目標 的使用者是誰 去到哪 是他們在決定的32F 07/03 06:30
推 ERIC4268: 推34F 07/03 06:32
推 aatzeng: 當阿祖用租就好，幹啥投資？35F 07/03 06:32
→ photoless: 我們覺得高雄不好玩，去幹嘛，現在弄一堆垃圾，有時更是浪費生命在看36F 07/03 06:32
推 jack529: LLM模型本身就是瓶頸，無限堆算力跟推裡結果一樣，再屌的模型一樣會幻覺，一樣機率亂搞，不如開始研究降低token 成本或是演算法本身38F 07/03 06:34
→ innuendo3324: 很缺跟有沒有錢繼續花是兩回事41F 07/03 06:43
→ imlucky: 算力很缺，但股價不一定會漲42F 07/03 06:44
推 Devin99: 推43F 07/03 06:44
推 bj45566: 問題是 LLM 架構已經霸佔人類智慧結晶快十年了 -- 那些不認同 LLM 的 AI 大師們(包括圖靈獎得主)這些年來耗盡心力想要另闢蹊徑都未能真正成功，這階段還能怎麼辦？只能拼算力啊44F 07/03 06:45
→ ookimoo: 所以重點就是AGI出不來啊 死路硬刻也是刻木求劍48F 07/03 06:46
→ Riesz: AGI靠機器弄不出來 可能要腦機 以後一龍馬用死人腦AGI必須要靠生物  才能感知情緒  這才中AI還非強AI49F 07/03 06:48
→ ookimoo: 腦機這個..餅畫的目前就跟夾筷子卻喊成要征服宇宙51F 07/03 06:50
推 pc007ya: 謝謝 歐印ASIC52F 07/03 06:50
→ Riesz: https://i.imgur.com/87Z7ILA.jpeg53F 07/03 06:50
[圖]
→ ookimoo: 對於腦域寫入資料 沒有進步54F 07/03 06:50
→ Riesz: 人類是所有動物唯一會感傷流眼淚的動物  情緒是最難進步的東西 共情能力是人類特有的 機器不會靈長不會55F 07/03 06:52
推 bj45566: 反正可以確定能夠突破 LLM 的創新革命性架構一定出現在美國，我們這些非第一線 AI 業界人士就只能耐心等待57F 07/03 06:53
推 DustToDust: 我只看好記憶體60F 07/03 06:59
推 bj45566: 在下不認為共情能力是人類在智力上表現遠超過其它動物的主因 -- 人類有辦法創造、利用語言和符號紀錄當代的知識體系、並以此為基礎創造、更新更先進繁複的新知識體系或許才是人類超高智慧的基礎機制
人類三四歲的幼兒在智力上的表現未必能贏過三四歲的邊牧或海豚，但人類的孩童一但學會語文和數學表及運用後，很快在智慧上就能遠甩開地球上的其它生物
但是電腦(計算機)也可以擁有創造、更新知識庫的能力，可能在未來的智慧表現上贏過人類也不一定？61F 07/03 07:00
推 buffetta: 謝謝專業分享71F 07/03 07:12
推 BBKOX: 現在是市面上的3C產品那麼貴，怎麼可能算力充足，標普納指均線也還算強勢，根本鬼故事殺槓桿72F 07/03 07:15
→ bunjie: 蒜粒充足那是阿祖想要想要帶風向的故事 花街只是渲染這故事 順便殺槓桿74F 07/03 07:17
推 dosiris: 共情有幫助我們選股賺錢嗎76F 07/03 07:20
→ yunf: LLM就是操弄賽局讓你不知不覺透露你的心血結晶77F 07/03 07:20
推 ChungLi5566: 華爾街那群機構說飽和就飽和
誰理你終端需求有沒有缺78F 07/03 07:21
推 herculus6502: 蒜再種就有 嫌貨才是買貨人80F 07/03 07:21
→ yunf: 醒醒吧他終究只是LLM81F 07/03 07:22
→ ChungLi5566: 一直漲 機構快被嘎上天了 有波動他們才能兩邊賺82F 07/03 07:23
推 bj45566: 現在 AI 算力持續嚴重不足就是因為人類的智慧結晶仍然無法擺脫 LLM 這個極端依賴硬體(esp. 記憶體)的模型架構83F 07/03 07:25
→ yunf: 算力只會無止盡的需要就像兩個人去潛水，但只有一組氧氣筒如果要活著上岸 兩邊的呼吸節奏就要抓好86F 07/03 07:26
推 Riesz: 共情不能幫助選股   但她會受到市場情緒賣飛砍阿呆88F 07/03 07:27
→ yunf: 就算你國庫都用光了，未必能夠解決這個問題89F 07/03 07:28
推 IanLi: 前面堆算力，但比成本就要看算法與ASIC90F 07/03 07:29
→ sinclaireche: 訓練離不開老黃 推論想盡辦法擺脫91F 07/03 07:30
→ cuteyuyu1130: 一堆假設都是建立在不管價格怎麽漲，使用者都買單的幻覺上。現實是Token越貴，企業和個人就會降低使用量或減緩替代人力的步調，這不是剛需，足夠便宜才有誘因驅動人去大幅改變原有的運作型態。92F 07/03 07:31
→ sinclaireche: 人力太便宜的地方才會有這個煩惱96F 07/03 07:33
推 psynanako: 感謝推97F 07/03 07:34
推 bj45566: 舉個例子，幾十年前多媒體資源在網際網路上嚴重稀缺、被網路硬體效能困死的主因之一就是那時候人類在 Info. Theory 的智慧結晶無法突破，但更到人類在資訊壓縮、通道編碼,... 的技術迎來飛躍式的突破後98F 07/03 07:35
推 chysh: 算力用量大戶未來一定有電影業，而這件事情還沒發生，算力根本還遠遠不足297F 07/03 19:29
推 sleepinggod: 現在的大語言模型最後都會差不多拉299F 07/03 21:07
推 j0987: 推300F 07/03 21:20
推 TonyStuck: 推301F 07/04 13:07

--
--
作者 waitrop 的最新發文:
點此顯示更多發文記錄
(waitrop.): Re: [請益] 算力需求到底是缺還是快飽和了？ - Stock板