作者 james58899 (james58899)
標題 [心得] 顯卡真實 AI 算力整理 GPU AI TOPs
時間 Sat Feb 21 17:51:33 2026


之前在巴哈和板上看到用9070XT跑圖片生成的文章,突然對跑AI有了興趣
然後就拉著小伙伴們一起來跑AI,所以肯定要比一下誰顯卡跑比較快
結果發現網路上到處都是又稀疏又低精度的膨脹算力,實際幾乎用不到
只好從各種官方文件中整理不同精度的實際算力
一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強

總之先上圖
https://i.urusai.cc/8FRjv.png
[圖]
原始表格:
https://reurl.cc/KOZj1M
https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U
網頁匯出版:
https://reurl.cc/MMrdm4

主要看FP16/BF16和INT8/FP8這幾行
一般圖片生成都是用FP16/BF16少數使用FP8量化,而語言模型大多用FP8/INT8或更低的量化
語言模型更吃記憶體頻寬,圖片生成更注重算力但也還是吃記憶體頻寬
當然這些都是建立在VRAM夠用的前提下
如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去

由於NVIDIA卡的變種實在太多了,所以僅整理有官方規格或比較有可能拿來跑AI的卡
如果有其他感興趣的卡,可以先找接近的型號根據Tensor核心數估算一下
或者也可以推文留言,等我哪天有空可能會補充進表格


原本以為想跑AI只能買NVIDIA,結果發現其實Intel和AMD支援性都已經不錯了
最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具,直接開箱即用都不用搞半天環境
Intel A770原本以為是遊戲卡,結果其實是AI卡,跑AI比跑遊戲強多了...
傳說中的AI金磚DGX Spark實際上就只有128G很大,實際算力和頻寬都還好而已

我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇
說AMD驅動不行的反正我是半點問題沒遇到,真要說也只有爆VRAM的時候有機會崩驅動
但這任何顯卡都一樣,你VRAM用滿了東西就得炸
沒炸也只是驅動或系統在盡力把東西搬到RAM而已,搬不了或者來不及搬的時候還是要死
如果主要就是跑AI的話,AMD全家桶用起來也沒問題可以考慮AMD R9700
基本上就是有32G VRAM的9070XT,但價格也翻了一倍,不過還是比NV便宜
不然就直上RTX 5090,或者直接攻頂滿血的RTX PRO 6000,信老黃肯定沒錯對吧

在人類突破物理極限或者找到新的AI計算方式之前,多少算力就要多少功耗,沒有任何魔法
如果有個東西算力很高那只有兩個可能,一個是功耗也很高,另一個就是算力灌水

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣)
※ 作者: james58899 2026-02-21 17:51:33
※ 文章代碼(AID): #1fcO0efo (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1771667496.A.A72.html
ltytw: 現在硬體貴其實是天網想搞死玩家吧1F 211.23.223.225 台灣 02/21 17:53
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44
commandoEX: 比非稀疏性能沒那麼真,NV有針對稀疏運算加速,大語言模型也是稀疏矩陣2F 1.161.86.46 台灣 02/21 17:56
稀疏加速的要求其實很高,矩陣要有一半都是0才能觸發
而且還要特定格式的0,不是隨便有一半就行
我偏向認為宣傳大於實際意義,而且要看稀疏算力直接x2就是了
另外AMD RDNA4其實也支援稀疏加速
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47
a85139138: A卡跑AI最大的問題是生態不是算力吧
一堆套件都是針對CUDA開發的
要用A卡跑還得先各種debug和配置好環4F 39.9.32.248 台灣 02/21 18:03
cylinptt: 不知道4090魔改的數據怎麼樣8F 1.169.96.32 台灣 02/21 18:05
jkiu: spark定位是開發用機,另外它的一個相對amd的強項是pp,長context的處理速度9F 49.216.162.107 台灣 02/21 18:10

--