作者:
capcomjohnny (魯到開店)
124.199.97.67 (台灣)
2025-03-18 10:02:43 推 Ghosts: Arc A770 可以跑沒錯,前提是你會用
別看fun科技跑量化模型很輕鬆
基礎配置麻煩的很,那個教學完全是在繞路裝ipex llm第一要件就是全用docker
然後要定頻,不然會發現token/s不如預期 53F 140.118.155.56 03-18 15:59
作者:
TFGlajumbo (拉醬爆的集食行樂)
223.140.10.176 (台灣)
2025-03-12 14:19:32 推 Ghosts: AI top塞三個m.2插槽
把PCIE槽放在那個奇怪的位置
還不如去買Asus的proart,正常的多 52F 140.118.155.56 03-12 16:24
→ Ghosts: 表示有PCIE通道x8/x8拆分 65F 140.118.155.56 03-12 19:12
作者:
justloveit (輝仔)
218.161.55.143 (台灣)
2025-03-02 21:57:02 推 Ghosts: 在那邊亂算,好像塞完模型權重就沒事
KV Cache 都不用算嗎... 16G極限27B Q4
FP4又沒比INT4小...
16G 訓練小模型夠用了,更大就伺服器跑 27F 140.118.155.56 03-03 05:02
作者:
douge (樹大便是美)
140.112.175.204 (台灣)
2025-02-25 10:34:41 推 Ghosts: 講句實話,誰有心情等廠商提供服務
哪裡壞拆哪裡出保,然後去買新的換 8F 101.139.28.172 02-25 11:17