回上層
Disp BBS
看板 Stock
作者 a000000000 (比古A十郎)
標題 Re: [新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2
時間 Tue Jul  7 13:49:52 2026

※ 引述《thinksilver (銀白色的沉思)》之銘言：
: 原文標題：
: AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半
: 原文連結：
: https://reurl.cc/3yrRj0
: 發布時間：
: 2026-07-07 04:44
: 記者署名：
: 鉅亨網新聞中心
: 原文內容：
: 隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司
:  Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X
: 晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達
: (NVDA-US) 旗艦 GPU B200 的一半。
: 這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重
: 新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。
: 測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（
: tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦
:  B200 約八成水準，但部署成本卻不到 B200 的一半。
: 消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排
: 行榜。
: Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成，
: 包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮
: 推理能力。
: 量化技術兼顧效能與精準度
: 在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為
:  MXFP4，以降低運算資源需求。
: 根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官
: 方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。
: 推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。
: 原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出
: 的穩定性，成為此次部署的主要推理平台。
: 修補細節 推理速度大幅提升
: 在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對
: 投機解碼（Speculative Decoding）的支援不足。
: 團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透
: 過修正命名後，單流吞吐量便大幅提升近三倍。
: 此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透
: 過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家
: 層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。
: 測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60%
: 快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。
: 新創公司也能挑戰 GPU 巨頭
: 值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元
: 種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及
:  Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共
: 同創辦人 Arash Ferdowsi 等知名人士。
: Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分
:  Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。
: 相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具
: 鏈中的細節，代表 AMD 軟體生態正逐漸成熟。
: AMD 軟體生態逐漸成熟
: Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上
: 市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新
: 創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要
: 原因。
: Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度
: ，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。
: 事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動
: 式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的
:  0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進
: 展。
: 不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨
: 機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。
: 若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望
: 持續下降，也將進一步提升開源模型在市場上的競爭力。
: 心得/評論：
: 上次說花少少錢就能贏輝達的是不是deepseek?
: 不過最近AMD的股價走勢是蠻不錯的~相較於NVDA來說~
: 如果能降低成本有助於AI普及化其實也不是壞事，
: 果然NVDA的地位還是需要靠宿敵才能撼動?
: 想到90年代~ATI(Radeon)與NVDA(GeForce)的大戰
: 各位老顯卡玩家怎麼看呢?


先說簡單結論

任何吹MI3**的都可以忽略



蘇媽MI3**系列關鍵問題很簡單
networking一坨

阿不過也不能說蘇媽的錯
因為當初MI3**系列就只是給超級電腦用的
2023緊急被軟軟找去魔改出MI300X這種東西

這問題導致MI3**系列大概只有8顆一組的tray還算符合成本效益
要跑更大的模型就完惹
沒未來性  所以大家興趣缺缺
MI355X也只是把運算跟記憶體這部分加強而已
networking結構沒辦法動





真要抓蘇媽吹牛波
扣掉cpu的話
就要看mi400系列怎樣

現在回去談mi3**都沒意義惹


過兩葛禮拜4會有一葛蘇媽的ai產品吹牛大會喇

我自己的港絕捏
蘇媽的新東西
大家都是邊測邊罵
底類底類再抵類

不過老黃逼系列也好不到哪去
後面應該更慘



反正老黃股價都漲不動惹
逼康也是
現在gpu/tpu這種就是找挑戰者吹而已

然後mi4**放量恐怕也年底明年初的事惹
要去檢視這吹牛到底484吹過頭都hen久以後惹

吹gpu這部分就錦上添花而已
cpu缺貨4倒是沒解
反正過去這半年多能噴的股票
要馬炒缺貨要馬吹牛
或兼而有之&各種變體
所以
尼董der


















































































--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 71.198.170.65 (美國)
※ 作者: a000000000 2026-07-07 13:49:52
※ 文章代碼(AID): #1gJ9E2nZ (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783403394.A.C63.html
※ 同主題文章:
[新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2
07-07 08:30 thinksilver.
Re: [新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2
07-07 13:49 a000000000.
→ CHINCHIN5566: 直接說會不會漲好不好1F 07/07 13:51
推 neil0611: 翻譯：塊陶啊？2F 07/07 13:51
推 kimula01: 收到暗號 ALLIN 2330 AMD3F 07/07 13:52
推 butz85: 朝聖4F 07/07 13:52
→ Dhack5321: 本夢比無限阿5F 07/07 13:52
推 ctstak47: 歐印AMD6F 07/07 13:52
推 baolidab: 不懂7F 07/07 13:52
推 elvis222: OK 歐印AMD8F 07/07 13:53
推 mytropicfish: 所以要快跑嗎9F 07/07 13:53
噓 Haerin520: 99美光10F 07/07 13:53
推 Gipmydanger: 每家都廢物那結論可以說一下嗎？11F 07/07 13:53
推 GhostIsland: 教主要逃命了嗎12F 07/07 13:53
推 fly0204: 不懂 >''<13F 07/07 13:53
推 superminshin: 收到打收到!14F 07/07 13:54
噓 strlen: 沒9惹 現在就是要打貪狗 先打三個月15F 07/07 13:54
推 wwrand23: 彥州報牌了 233016F 07/07 13:54
推 pornpig32: 就繼續吹17F 07/07 13:54
推 polarfox: 99美光18F 07/07 13:54
→ fallinlove15: 不懂19F 07/07 13:55
推 nofear2101: 懂什麼啦!!! 求翻譯20F 07/07 13:55
推 tf010714: 謝謝光頭阿北報明牌21F 07/07 13:55
推 Audie21th: 吹無可吹就是要跑ㄌ....22F 07/07 13:55
推 homerunball: 燕州開團大家一起寫生23F 07/07 13:56
→ ookimoo: 超級長空 費半兩千多再買 上面都不要 拿美元定存穩24F 07/07 13:58
推 kakalin: 求翻譯25F 07/07 13:58
推 Muilie: 大家都炒一樣的題材的時候，就該見好就收了26F 07/07 13:58
推 misthide: 所以彥州賣掉AMD了沒?27F 07/07 13:59
推 ProTrader: 類似三星每次吹先進製程良率有多高28F 07/07 13:59
推 jumpballfan: 所以結論 按摩店沒fu糗 要崩了？29F 07/07 13:59
噓 AppleMan: 懂惹30F 07/07 14:00
→ a71085: 與其說沒FU糗不如說現在吹牛吹的PE都比之前的光還誇張了31F 07/07 14:00
推 FreeMagazine: 記憶體大缺貨 懂了33F 07/07 14:00
→ ProTrader: 相比IBM吹模擬狀況中效能多強還是 AMD還是比較純樸34F 07/07 14:01
→ a71085: 就算拿FPE來說也是炸裂等級35F 07/07 14:01
→ aimlikenoob: 這個是有含金量的內線36F 07/07 14:01
→ clamperni: 召喚成功37F 07/07 14:03
推 slluu2: 教主 救命38F 07/07 14:03
推 joe2: 連教主都看空了  這盤很穩39F 07/07 14:03
推 soarcher: 要出貨了嗎40F 07/07 14:03
推 wemee:   看到了 按\可開燈 藏在下面空白裡41F 07/07 14:04
推 chachabo: cpu缺貨沒解，歐硬233042F 07/07 14:04
推 KY1998: 蒙R波，吹牛波43F 07/07 14:04
推 FULLHD1080: 45 35 25 買對 下大 抱緊44F 07/07 14:05
推 create8: 幹，我也是邊罵邊做..45F 07/07 14:06
→ berserk: 還能吹46F 07/07 14:06
推 fp737: 教主就是說  有部分是吹牛大賽47F 07/07 14:09
推 speculator: https://i.meee.com.tw/ZVZOFqL.png48F 07/07 14:09
[圖]
噓 calmerrorans: 我不懂啊  所以快逃鴨嗎49F 07/07 14:09
推 Muilie: https://i.verb.tw/bS6x5n3E.jpg50F 07/07 14:13
[圖]
推 wicer5566: 歐硬amd 收到惹51F 07/07 14:13
推 chachabo: 99逼康52F 07/07 14:17
→ davie11333: 彥州99記憶卡蛙99553F 07/07 14:17
推 JIWP: 教主記憶體還能再起風嗎54F 07/07 14:18
推 josephpu: 99蘇媽55F 07/07 14:22
推 pink75310: 不懂 那是會漲還是不會漲56F 07/07 14:22
推 hunteryoyoyo: 還有幾集可以逃57F 07/07 14:22
推 herculus6502: 塊58F 07/07 14:23
推 Heedictator: 丸子59F 07/07 14:27
推 jerrychuang: 先吹zen6..幹翻intel/nv
謠傳zen6可能到7GHz....60F 07/07 14:27
推 qk3380888: AMD應該會吹到600 讓阿祖爽一下62F 07/07 14:32
推 whyhsu: 好63F 07/07 14:33
推 alvistan: 股價已經漲了幾百倍64F 07/07 14:34
推 sdbb: 記得開燈，有便當狗連結，謝謝分享65F 07/07 14:34
推 Shepherd1987: 吹牛大賽66F 07/07 14:35
→ sdbb: She大直接破梗67F 07/07 14:35
→ taylor951: 要抱還是要賣講一講68F 07/07 14:38
推 bnnann: all硬蘇媽69F 07/07 14:38
推 royli: 看起來偏負面，該減碼了70F 07/07 14:38
→ Shepherd1987: 一坨黃金71F 07/07 14:40
推 Harlequin727: 七巨頭大盤商還是繼續送錢到2027 免驚72F 07/07 14:41
→ ilovebig99: 之前就有人比N家及Apple 還有AMD橫向一比，全部都效能都墊底的就只有AMD,可以去找看看，回覆有人寫N家負責訓練，Apple 負責推論，AMD負責挨揍73F 07/07 14:42
推 xhs: 幫翻譯一下76F 07/07 14:43
推 selvester: 整個文下來 我臺灣葛語更重了 明牌是2330鏟子77F 07/07 14:44
推 sdbb: 謝謝78F 07/07 14:45
推 ALDNOAH5566: 現在就堆料79F 07/07 14:46
推 kevin0508: 教主，到底誰可以跑本地大模型？80F 07/07 14:47
推 meRscliche: 這篇好翻譯81F 07/07 14:47
推 kevin0508: 最近傳聞，NV的超容易過熱，怎辦82F 07/07 14:48
推 nocturnesw: 我的amd 成本195還能抱嗎？教主救救我83F 07/07 14:49
噓 r30385: ob'_'ov84F 07/07 14:53
推 DustToDust: 所以要買記憶體嗎85F 07/07 14:55
推 Xargon0730: 收到86F 07/07 15:00
推 rahim03: 意思是趕快跑87F 07/07 15:01
推 peatle: 今年缺CPU, 明年吹GPU, AMD YES!88F 07/07 15:01
推 jyhfang: 99AMD 99AMD89F 07/07 15:04
推 bbignose: 現在應該是要硬肛漫威跟GG吧90F 07/07 15:06
推 zen0812: 重點 老黃有逼91F 07/07 15:07
推 jerryjayg: 讚92F 07/07 15:09
→ ymlin0331: 老黃股價漲不動 >"<93F 07/07 15:09
→ saiya: 空94F 07/07 15:16
推 Car1osCorrea: 尼董95F 07/07 15:16
推 jojox123: 這次講話比較正常捏96F 07/07 15:19
推 codehard: 歐印GG97F 07/07 15:20
→ Feting: 今年被挑戰的一方都咕嚕咕嚕，挑戰者吹完一輪未來也準備步入後塵咕嚕咕嚕，缺貨炒完之後也準備咕嚕咕嚕98F 07/07 15:21
推 mysterydream: 不就叫你MU快跑101F 07/07 15:28
推 ckpetercheng: nv的能效其實沒有贏 但成本太高102F 07/07 15:37
推 aegis43210: MI400X也是為了超級電腦設計的，MI450才不是103F 07/07 15:41
推 darkangel119: 你都下車了 有差嗎104F 07/07 16:07

--
--
作者 a000000000 的最新發文:
點此顯示更多發文記錄
(a000000000.): Re: [新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2 - Stock板