※ 本文轉寄自 ptt.cc 更新時間: 2026-07-07 19:24:04
看板 PC_Shopping
作者 標題 [菜單] Gemma 4 26B 推理機
時間 Mon Jul 6 01:41:16 2026
已買/未買/已付訂金（元）：未買
預算/用途：40000 / Gemma 4 26B 推理
CPU (中央處理器)：AMD Ryzen 5 9600X
MB (主機板)：Asus ProArt B850-Creator Wifi Neo
RAM (記憶體)：十詮 T-Create DDR5 6000 CL30 x2
VGA (顯示卡)：(沿用) Intel Arc Pro B70 32G
Cooler (散熱器)：風魔3
SSD (固態硬碟)：(沿用)
HDD (硬碟)：
PSU (電源供應器)：振華 Leadex III 850W 金牌/全模/主日
CHASSIS (機殼)：聯力 Lancool 217
MONITOR (螢幕)：
Mouse/KB (鼠鍵)：
OS (作業系統)：Ubuntu
其它 (自填)：
總價 (未稅/含稅)：35966 含稅
最近實驗 B70 推理, 編譯 llama.cpp SYCL 版本跑 Gemma 4 26B 速度很滿意
不過目前是用 eGPU 的方式跑, 想說乾脆組起來比較省事
這個搭配有沒有什麼需要改進的地方呢?
--
世界越快 心則慢
網路越慢 心則快
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.175.196 (臺灣)
※ 作者: tacovirus 2026-07-06 01:41:16
※ 文章代碼(AID): #1gIfT6GX (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783273286.A.421.html
推 : MOE模型用啥跑都很快 但你接受這智商？1F 118.150.170.141 台灣 07/06 02:11
→ : 長遠看別買I卡獨顯 N家入股後可能會被放生
→ : 買張7900XTX生態跟速度都更好 還更便宜
推 : 喔 看錯 原來卡有了 那剩下隨便
→ : 長遠看別買I卡獨顯 N家入股後可能會被放生
→ : 買張7900XTX生態跟速度都更好 還更便宜
推 : 喔 看錯 原來卡有了 那剩下隨便
→ : 我也好奇26B不嫌笨嗎？5F 1.34.131.99 台灣 07/06 02:14
→ : 本地端有更好的?6F 60.198.151.23 台灣 07/06 03:29
→ : 32GB有其他更好的選擇嗎?
→ : 32GB有其他更好的選擇嗎?
推 : 好奇這麼笨的模型要用做啥？不甘脆用API嗎？8F 36.235.197.109 台灣 07/06 04:48
推 : 小模型用dense的比較好9F 182.233.84.193 台灣 07/06 04:53
→ : 但輸出速度就沒辦法快
→ : 但輸出速度就沒辦法快
推 : 你RAM夠的情況下，本地跑用Gemma4 31B11F 59.115.148.173 台灣 07/06 05:55
→ : 或Qwen 3.6 27B這種Dense模型智力跟Ag
→ : ent性能方面都會比較好
→ : 如果用途比較專一在推理或是寫Code，
→ : 用llama cpp加隨便一個qwen 3.5被opus
→ : 或fable微調過的版本都不錯
→ : 或Qwen 3.6 27B這種Dense模型智力跟Ag
→ : ent性能方面都會比較好
→ : 如果用途比較專一在推理或是寫Code，
→ : 用llama cpp加隨便一個qwen 3.5被opus
→ : 或fable微調過的版本都不錯
→ : 小模型用來養馬17F 61.224.176.135 台灣 07/06 06:22
推 : 本地小MoE模型還是拿來聊天就好，真要幹18F 123.192.94.227 台灣 07/06 06:25
→ : 活，就算慢也是選dense模型穩
→ : 活，就算慢也是選dense模型穩
推 : 也是建議由Gemma4 31B或Qwen3.6 27B二選一20F 1.161.178.76 台灣 07/06 06:35
推 : 電供抓大一點，未來再插一張卡(?21F 42.70.248.221 台灣 07/06 08:36
好 der，我改買 Leadex VII 1000W，存點錢再加一張推 : 目前地端天花板就是qwen3.6 27b呀22F 42.70.252.91 台灣 07/06 09:23
推 : 真的用過api就會知道中國那幾個都是智障23F 101.12.128.32 台灣 07/06 11:02
→ : 跑分漂亮長期用下來就是鬼打牆
→ : 來不如直接用美國的 最後也不會比較貴
→ : 跑分漂亮長期用下來就是鬼打牆
→ : 來不如直接用美國的 最後也不會比較貴
推 : 原本也是想本地跑後來還是用dsv4 flas26F 194.114.136.219 日本 07/06 11:26
→ : h超便宜比電費還省
→ : h超便宜比電費還省
推 : 本地端顯卡玩qwen3.6 27B或Gemma4 328F 49.216.106.151 台灣 07/06 11:37
→ : 1B沒錯啊。當然你跟真正大模型比差
→ : 的還是太遠也是事實
→ : 1B沒錯啊。當然你跟真正大模型比差
→ : 的還是太遠也是事實
→ : 兩家的MoE都這麼不堪嗎？31F 223.139.62.72 台灣 07/06 11:40
推 : 以gemma4 26b a4b來說，他實際就只是知32F 42.79.123.16 台灣 07/06 11:44
→ : 識量較多比較聰明的4B模型而已，真的要
→ : 長鏈路推理、作業、寫文章，完全沒法跟
→ : 實打實的27b dense模型相比
→ : 目前單卡本地的天花板就是qwen3.6 27b，
→ : 找個破限跟opus蒸餾版，基本可以當一個
→ : 全能小模型
→ : 識量較多比較聰明的4B模型而已，真的要
→ : 長鏈路推理、作業、寫文章，完全沒法跟
→ : 實打實的27b dense模型相比
→ : 目前單卡本地的天花板就是qwen3.6 27b，
→ : 找個破限跟opus蒸餾版，基本可以當一個
→ : 全能小模型
推 : 我覺得寫文章還行，不過現下買32G的卡主要39F 60.250.130.216 台灣 07/06 11:47
→ : 拿來跑圖比較香
→ : 拿來跑圖比較香
→ : 原來如此 測試的時候都只看前面跟測41F 223.139.62.72 台灣 07/06 11:55
→ : TTFT而已沒注意到性能差這麼多
→ : TTFT而已沒注意到性能差這麼多
推 : 26ba4b超爛 實際上幾乎處於不能用的程43F 223.140.241.146 台灣 07/06 12:03
→ : 度
→ : 我覺得他比gemini cli的mini?還差 而3.
→ : 1flash就已經很難用了 處於幾乎不能信
→ : 任的狀態
→ : 度
→ : 我覺得他比gemini cli的mini?還差 而3.
→ : 1flash就已經很難用了 處於幾乎不能信
→ : 任的狀態
推 : Qwen3.6 27b > gemma4 31b > qwen3.6 3548F 42.79.123.16 台灣 07/06 12:11
→ : b a3b > gemma4 12b > gemma4 26b a4b
→ : b a3b > gemma4 12b > gemma4 26b a4b
推 : 聊天倒是比Qwen有感情50F 106.64.128.15 台灣 07/06 12:16
推 : gemma 4還是有好處啦 他道德感超強，用解51F 42.79.203.178 台灣 07/06 12:25
→ : 鎖模型他還會非常激動的指正你，但又不得
→ : 不回答，非常有女騎士的感覺，Qwen就很無
→ : 聊，解鎖模型就跟沒有羞恥心似的
→ : 鎖模型他還會非常激動的指正你，但又不得
→ : 不回答，非常有女騎士的感覺，Qwen就很無
→ : 聊，解鎖模型就跟沒有羞恥心似的
推 : Qwen3.5之後就冷冰冰了哪有感情55F 114.36.243.126 台灣 07/06 12:28
→ : Gemma 4 26B A4B用在Agentic確實爛
→ : Qwen3.6 35B A3B稍微好一點
→ : 之後來試試Dense模型
→ : Gemma 4 26B A4B用在Agentic確實爛
→ : Qwen3.6 35B A3B稍微好一點
→ : 之後來試試Dense模型
推 : 目前20b 以下的MOE只適合檔案整理、簡單59F 223.140.135.158 台灣 07/06 12:50
→ : shell、摘要、approval 。Agent loop 最
→ : 低限度的智力的最下限目前還在Qwen3.6-27
→ : B Gemma 4 31B，+ Q4/Q5 + 100K context
→ : + 量化 KV加上其他配套至少要48的統一記
→ : 憶體或者VRAM低於這個規格的機器就別想了
→ : shell、摘要、approval 。Agent loop 最
→ : 低限度的智力的最下限目前還在Qwen3.6-27
→ : B Gemma 4 31B，+ Q4/Q5 + 100K context
→ : + 量化 KV加上其他配套至少要48的統一記
→ : 憶體或者VRAM低於這個規格的機器就別想了
推 : Gemma 4聽起來太澀了ㄅ65F 220.130.134.10 台灣 07/06 12:57
推 : 請問這樣拿來評分英文短文的話，用66F 27.52.39.7 台灣 07/06 13:35
→ : Qwen 27B可以跑嗎？ 目前是5080+3
→ : 2G RAM
→ : Qwen 27B可以跑嗎？ 目前是5080+3
→ : 2G RAM
推 : Qwen3.6 27b Q4量化 + 128K上下文 + K Q69F 42.79.123.16 台灣 07/06 13:36
→ : 8 + V Q4_1，應該是塞得進32G顯卡內啦，
→ : 印象中
→ : 8 + V Q4_1，應該是塞得進32G顯卡內啦，
→ : 印象中
推 : Qwen 3.6 27B 好像跑的久但完成率可以拉72F 150.116.129.113 台灣 07/06 13:36
→ : 高! 在意品質還是稠密模型會比MoE強啦。
→ : 高! 在意品質還是稠密模型會比MoE強啦。
推 : 評分文章的需求有點模糊，但摘要應該沒74F 42.79.123.16 台灣 07/06 13:45
→ : 啥問題，本地小模型指令理解度沒有大廠
→ : 線上模型好，需要明確的指令
※ 編輯: tacovirus (101.9.103.172 臺灣), 07/06/2026 13:53:58→ : 啥問題，本地小模型指令理解度沒有大廠
→ : 線上模型好，需要明確的指令
推 : 26B沒用阿77F 114.137.191.69 台灣 07/06 14:08
推 : MoE伺服器友善強在多終端記憶體利用率78F 36.228.8.135 台灣 07/06 14:38
推 : 缺點是帳面總參數不是實際活躍參數量
→ : 就是用小部分參數當寫手 品質不如稠密
推 : 缺點是帳面總參數不是實際活躍參數量
→ : 就是用小部分參數當寫手 品質不如稠密
推 : 我看你們是沒玩過破防的gemma481F 203.204.195.174 台灣 07/06 17:41
推 : 你聽好了，你的目標是跑AI，82F 36.230.161.245 台灣 07/06 19:58
→ : 要以GPU優先，其他的CPU & DDR是第幾代的
→ : 通通都不是重點。
→ : 第一主機板一定要找有兩條PCIe X16插槽的
→ : ，VRAM是你的一切這很重要！
→ : GPU請直接拿買N卡， 至少遇到問題用GPT還
→ : 能快速幫你解決。
→ : N卡在雲端上的分支計畫資源最豐富，實裝
→ : 難度也最小，還有NVIDIA 提供的集裝箱，下
→ : 載及用，省下為了最佳化重新編譯的時間也
→ : 不用擔心安裝後搞亂系統，讓你把精力放在
→ : 產出的品質上。
→ : 驅動還是工具鏈穩定是必須的，在這個基礎
→ : 上你才能針對需求去切換效果更好的模型。
→ : 比如說無道德審查模型，量化版的A卡沒有幾
→ : 個能用。
→ : 最後別被I卡的VRAM給騙了，B70 32GB漲價
→ : 後的價錢都可以買兩張5060 Ti 16GB，實際
→ : 上就只是一張吃電290W的3060Ti，算力還不
→ : 如5050。
→ : 更別提5060Ti X2這個高CP值的組合，NVFP4
→ : 用對量化模型產出可以妣美4090，遇到只有F
→ : P8的老模型打開FlashAttention 3也可以追
→ : 平3090。
→ : DDR4 2133 ECC 16GBX4 (6千NTD有找)
→ : 5900XT & X570 WS ACE看看還能不能搞到手
→ : 。
→ : DDR3 1866四通道（頻寬接近D5 6K雙通道）
→ : 但是有些人無法接受洋垃圾，對於DRAM組建2
→ : 56GB的成本最低是事實啊！
→ : MoE模型相對於稠密模型來說，每次獲得到
→ : 的結果差異性很大
→ : 你將來一定會被B70單卡的推理速度慢到受
→ : 不了，再加一張B70讓算力達到9070XT單卡
→ : 的水平。
→ : 32GB通常都是跑30-35B
→ : 要以GPU優先，其他的CPU & DDR是第幾代的
→ : 通通都不是重點。
→ : 第一主機板一定要找有兩條PCIe X16插槽的
→ : ，VRAM是你的一切這很重要！
→ : GPU請直接拿買N卡， 至少遇到問題用GPT還
→ : 能快速幫你解決。
→ : N卡在雲端上的分支計畫資源最豐富，實裝
→ : 難度也最小，還有NVIDIA 提供的集裝箱，下
→ : 載及用，省下為了最佳化重新編譯的時間也
→ : 不用擔心安裝後搞亂系統，讓你把精力放在
→ : 產出的品質上。
→ : 驅動還是工具鏈穩定是必須的，在這個基礎
→ : 上你才能針對需求去切換效果更好的模型。
→ : 比如說無道德審查模型，量化版的A卡沒有幾
→ : 個能用。
→ : 最後別被I卡的VRAM給騙了，B70 32GB漲價
→ : 後的價錢都可以買兩張5060 Ti 16GB，實際
→ : 上就只是一張吃電290W的3060Ti，算力還不
→ : 如5050。
→ : 更別提5060Ti X2這個高CP值的組合，NVFP4
→ : 用對量化模型產出可以妣美4090，遇到只有F
→ : P8的老模型打開FlashAttention 3也可以追
→ : 平3090。
→ : DDR4 2133 ECC 16GBX4 (6千NTD有找)
→ : 5900XT & X570 WS ACE看看還能不能搞到手
→ : 。
→ : DDR3 1866四通道（頻寬接近D5 6K雙通道）
→ : 但是有些人無法接受洋垃圾，對於DRAM組建2
→ : 56GB的成本最低是事實啊！
→ : MoE模型相對於稠密模型來說，每次獲得到
→ : 的結果差異性很大
→ : 你將來一定會被B70單卡的推理速度慢到受
→ : 不了，再加一張B70讓算力達到9070XT單卡
→ : 的水平。
→ : 32GB通常都是跑30-35B
推 : 26B MOE那水平要我掏錢我都懶118F 118.150.170.141 台灣 07/06 21:24
推 : 26B QAT輸出品質約與兩倍E4B QAT相當119F 36.228.8.135 台灣 07/06 21:36
推 : ddr3 1866x4 接近 ddr5 6000x2 這什麼笑話？120F 123.194.245.27 台灣 07/06 22:49
→ : 這不是笑話，自己找圖比較121F 36.230.138.251 台灣 07/07 03:43
→ : 一樣的GDDR7 128Bit =896 bit GDDR6 256Bi
→ : t
→ : 那個896是AI亂加的XD
→ : 1866四通道60GB/s（X79)
→ : ，6000雙通道只有47GB/s因為你用的是AMD
→ : 9600X & DDR5 6000已經測到爛了
→ : AMD因為IO Die和IF總線，雙通道沒有吃滿，
→ : 記憶體性能下降25%左右。 算AI還是挑Intel
→ : 比較適合
→ : 挑便宜的買即可
→ : 一樣的GDDR7 128Bit =896 bit GDDR6 256Bi
→ : t
→ : 那個896是AI亂加的XD
→ : 1866四通道60GB/s（X79)
→ : ，6000雙通道只有47GB/s因為你用的是AMD
→ : 9600X & DDR5 6000已經測到爛了
→ : AMD因為IO Die和IF總線，雙通道沒有吃滿，
→ : 記憶體性能下降25%左右。 算AI還是挑Intel
→ : 比較適合
→ : 挑便宜的買即可
推 : 最近也在考慮洋垃圾AI機，低成本雙PCIE132F 12.170.106.26 美國 07/07 05:42
→ : 實在太香，順便借個文請問一下樓上有無
→ : 測過2張5060Ti都跑在PCIE3.0 X8情況下
→ : 跑AI推論效能大概損失多少? 謝謝
→ : 5060Ti大硬傷就是只有物理X8通道，裝在洋
→ : 垃圾主機板上最高就只剩下PCIE3 X8而已
→ : 實在太香，順便借個文請問一下樓上有無
→ : 測過2張5060Ti都跑在PCIE3.0 X8情況下
→ : 跑AI推論效能大概損失多少? 謝謝
→ : 5060Ti大硬傷就是只有物理X8通道，裝在洋
→ : 垃圾主機板上最高就只剩下PCIE3 X8而已
推 : 我試過兩張5060TI，主板是華碩Pro WS Z890138F 60.250.130.216 台灣 07/07 10:59
→ : ACE SE。撇開PCIe減損的問題，比較大的問
→ : 題是要找支援張量並行的部屬方案，比如
→ : vLLM。下一個問題是要找到適用在vLLM的量
→ : 化模型，會比單卡32G的限制要多
→ : 例如單卡32G在ollama下很容易就找到qwen
→ : 3.6 27Bq4，但是vLLM要在hugging face下找
→ : 官方只有提供非量化的，要不就要自己再量
→ : 化了
→ : ACE SE。撇開PCIe減損的問題，比較大的問
→ : 題是要找支援張量並行的部屬方案，比如
→ : vLLM。下一個問題是要找到適用在vLLM的量
→ : 化模型，會比單卡32G的限制要多
→ : 例如單卡32G在ollama下很容易就找到qwen
→ : 3.6 27Bq4，但是vLLM要在hugging face下找
→ : 官方只有提供非量化的，要不就要自己再量
→ : 化了
→ : 張量平行是假議題，Ollama用對模型也可以147F 49.216.181.198 台灣 07/07 12:49
→ : 破百Tokens /s， 5060Ti 16GB X2根本不用
→ : 去考慮.cpp還是vLLM
→ : RTX50初始算力高有本錢折騰，不用搞那些
→ : 花里胡俏的，把FlashAttention打開性能自
→ : 然就出來
推 : PCIe減損也不用擔心，只要PCI error值為零
→ : ， 就算用老舊的PCIe2.0X8對性能影響也不
→ : 到5%。
推 : 以5060Ti來說，用Ollama跑NV官網公告的Gem
→ : ma4 26B如果是線性成長，單卡40T雙卡80T四
→ : 卡160T但實際上是單卡20T雙卡80四卡200。
→ : vllm張量平行的增加幅度還沒有這麼誇張，
→ : 我認為問題要放在第一字的回應延時，四通
→ : 道D4 2400 76.8GB/s 最快還要歷時0.9秒，
→ : 沒辦法像雲端AI那樣控制在毫秒等級，目前D
→ : 5 8800雙通道140GB/s也沒有辦法做到。
→ : 破百Tokens /s， 5060Ti 16GB X2根本不用
→ : 去考慮.cpp還是vLLM
→ : RTX50初始算力高有本錢折騰，不用搞那些
→ : 花里胡俏的，把FlashAttention打開性能自
→ : 然就出來
推 : PCIe減損也不用擔心，只要PCI error值為零
→ : ， 就算用老舊的PCIe2.0X8對性能影響也不
→ : 到5%。
推 : 以5060Ti來說，用Ollama跑NV官網公告的Gem
→ : ma4 26B如果是線性成長，單卡40T雙卡80T四
→ : 卡160T但實際上是單卡20T雙卡80四卡200。
→ : vllm張量平行的增加幅度還沒有這麼誇張，
→ : 我認為問題要放在第一字的回應延時，四通
→ : 道D4 2400 76.8GB/s 最快還要歷時0.9秒，
→ : 沒辦法像雲端AI那樣控制在毫秒等級，目前D
→ : 5 8800雙通道140GB/s也沒有辦法做到。
推 : Qwen可以雙卡llama.cpp 21t/s vLLM 60 t/s164F 114.45.195.56 台灣 07/07 14:30
→ : 但如果是一次只有 1～2 個 Agent 在運行
→ : 部署簡單、回應快，那llama體感好
→ : 要Interactive Chat 很舒服那就不用考慮
→ : vLLM是高併發高用量自己7x24的環境更適合
→ : 但如果是一次只有 1～2 個 Agent 在運行
→ : 部署簡單、回應快，那llama體感好
→ : 要Interactive Chat 很舒服那就不用考慮
→ : vLLM是高併發高用量自己7x24的環境更適合
推 : 考慮高併發的話，例如3人同時上線，KV Cac169F 36.230.138.251 台灣 07/07 15:49
→ : he就只能限制在16K以下， VRAM佔用量增加5
→ : 0%，
→ : 超長上下文比如說100K在部署上的難度顯著
→ : 增加。
→ : 因為VRAM對於本地AI是寸土寸金
→ : 所以目前我把它當單機操作，最多就是同時
→ : 執行Qwen 3.6 35B和Gemma3 27B無道德審查
→ : 模型，
→ : 框架之間的差異對我來說無感。
→ : 除非將來PEX89096 PCIe5.0 Swtich擴充板量
→ : 產，讓我可以同時使用6張5060Ti 16GB一共9
→ : 6GB，這樣vLLM建立家用AI工作站才有意義，
→ : 但說不定RTX50會是末代8Pin的60Ti。
→ : 商用本地AI的話，首字回應延時必須控制在
→ : 毫秒等級， 目前的消費級的平台都不可行。
→ : 理想值是0.2-0.3秒
→ : he就只能限制在16K以下， VRAM佔用量增加5
→ : 0%，
→ : 超長上下文比如說100K在部署上的難度顯著
→ : 增加。
→ : 因為VRAM對於本地AI是寸土寸金
→ : 所以目前我把它當單機操作，最多就是同時
→ : 執行Qwen 3.6 35B和Gemma3 27B無道德審查
→ : 模型，
→ : 框架之間的差異對我來說無感。
→ : 除非將來PEX89096 PCIe5.0 Swtich擴充板量
→ : 產，讓我可以同時使用6張5060Ti 16GB一共9
→ : 6GB，這樣vLLM建立家用AI工作站才有意義，
→ : 但說不定RTX50會是末代8Pin的60Ti。
→ : 商用本地AI的話，首字回應延時必須控制在
→ : 毫秒等級， 目前的消費級的平台都不可行。
→ : 理想值是0.2-0.3秒
推 : TTFT毫秒也要看你input長度多少186F 223.136.127.19 台灣 07/07 17:46
→ : 你丟十萬以上，雲端也沒法那麼快
→ : 你丟十萬以上，雲端也沒法那麼快
--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 50
→
guest
回列表(←)
分享