回看板
Disp BBS
看板 PC_Shopping
作者 xiemark (aisinjuro)
標題 [菜單] DeepSeek 671b大模型推理機
時間 Wed Feb 12 20:25:00 2025


已買/未買/已付訂金（元）：未買

預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用
CPU來算

CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版  $7500
MB      (主機板)： 超微H11SSL-i 二手 ＄8900
RAM     (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8  $1600x8 = $12800
VGA     (顯示卡)： 舊EVGA 3060 12G(已有)
Cooler  (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850
SSD   (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd  $3590
HDD       (硬碟)：
PSU (電源供應器)： 台達 金牌全模組650W $2890
CHASSIS   (機殼)：
MONITOR   (螢幕)：
Mouse/KB  (鼠鍵)：
OS    (作業系統)： Ubuntu

其它      (自填)：
總價 (未稅/含稅)：$36530

CPU 主機板、DRAM在洶寶買。

是否有更好選擇

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.75.31 (臺灣)
※ 作者: xiemark 2025-02-12 20:25:00
※ 文章代碼(AID): #1dh9CV1J (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739363103.A.053.html
※ 同主題文章:
[菜單] DeepSeek 671b大模型推理機
02-12 20:25 xiemark
Re: [菜單] DeepSeek 671b大模型推理機
02-15 22:21 a1e
推 jim543000: 洶寶<31F 220.141.227.192 台灣 02/12 20:28
推 wsdykssj: https://www.bilibili.com/BV1REPqeFE6d2F 123.252.19.17 台灣 02/12 20:32
→ narukaza: H11SSL-I只有PCI-E 3.0，你要確定耶，還有沒有支援Resizable BAR，這H12才有3F 114.34.174.204 台灣 02/12 20:45
→ xiemark: 只用cpu跑，pcie沒關係5F 36.226.75.31 台灣 02/12 20:47
推 Supasizeit: 這一問一答要多久啊6F 203.204.195.174 台灣 02/12 20:58
推 kamir: 要本地部署嗎？
我是覺得個人玩家直接用線上的就好，
自由度也高7F 111.71.19.118 台灣 02/12 21:08
推 YukilinnMigu: 這速度大概跟macmini跑速度差不多10F 114.40.170.168 台灣 02/12 21:24
推 MK47: https://is.gd/u3VvxG 這連結你參考一下
還有這個 https://is.gd/vKxtAT11F 36.235.228.45 台灣 02/12 21:26
 
DeepSeek-R1 671B: Complete Hardware Requirements - DEV Community
[圖]
Overview DeepSeek-R1 is a state-of-the-art large language model developed by the Chinese... ...

 
→ MK47: 他是vram不是ram13F 36.235.228.45 台灣 02/12 21:28
→ moonlightz: 我記得H100要好幾張14F 114.42.66.181 台灣 02/12 21:29
→ xiemark: h100要8張，買不起。15F 36.226.75.31 台灣 02/12 21:34
推 yocpswang: 肯定是淘寶或小黃魚買16F 114.33.180.131 台灣 02/12 21:34
推 observer0117: 用unsloth處理過只需要不到200G
我是用Z840，128G一萬多而已，再加17F 220.132.247.29 台灣 02/12 21:35
→ kuninaka: 線上一直斷線，根本不能用19F 36.239.110.87 台灣 02/12 21:37
→ observer0117: SSD、RAM、GPU20F 220.132.247.29 台灣 02/12 21:37
→ kuninaka: 你串MAC MINI會不會比較快？21F 36.239.110.87 台灣 02/12 21:37
噓 ntuee1803: 荒唐22F 114.35.216.206 台灣 02/12 21:37
→ observer0117: 不過顯卡不延長只能插一張23F 220.132.247.29 台灣 02/12 21:43
→ kuochuwon: deepseek 用CPU跑效率好嗎?24F 175.181.152.51 台灣 02/12 22:12
→ observer0117: 671b應該不太好，unsloth動態量化後還可以，但是會有非預期EOF問題25F 220.132.247.29 台灣 02/12 22:39
→ diablohinet: 哇....@@27F 36.225.75.10 台灣 02/12 22:41
→ promaster: 老黃下巴掉了28F 1.161.173.221 台灣 02/12 22:44
推 ocean920704: 我還是選擇api就好29F 111.246.98.177 台灣 02/12 22:48
推 tetani: 這不會慢死嗎?30F 111.255.254.9 台灣 02/12 22:49
→ tint: https://tinyurl.com/muttrn8d
KTransformers可以參考一下
用GPU加速的純CPU方案31F 106.104.71.59 台灣 02/12 23:12
GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations
[圖]
A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations - kvcache-ai/ktransformers ...

 
推 prag222: 最大的參數量拿單機去跑很慢拉34F 114.44.18.56 台灣 02/12 23:18
→ erisiss0: 哈哈哈哈哈哈35F 122.100.112.197 台灣 02/12 23:21
推 croweva: 期待原po未來分享用cpu跑671b的效率36F 1.200.145.97 台灣 02/12 23:29
→ annboy: 老哥 買顯卡跑蒸餾完的不就好了37F 218.161.27.73 台灣 02/12 23:34
→ yinaser: 收張3090跑32b就好38F 42.77.54.183 台灣 02/12 23:50
推 lluck: 每天睡覺前問問題, 睡醒看回答嗎 XD39F 114.32.5.184 台灣 02/12 23:54
→ sasado: 已讀不回AI模擬機40F 61.230.111.115 台灣 02/12 23:56
推 boringuy: 線上跑就好了，不用蝦折騰41F 101.10.6.16 台灣 02/13 00:01
→ yam276: 笑了42F 123.193.249.242 台灣 02/13 00:02
→ tc22: 可以用袐塔43F 111.241.83.149 台灣 02/13 00:49
推 doomsday0728: 什麼鬼 這樣要跑多久？44F 36.234.197.247 台灣 02/13 00:53
噓 xelnaga: ？？？？？？45F 12.226.201.122 美國 02/13 01:11
推 Lightee26: 有人也是epyc+ddr4，可跑3~4token/s
比拿ssd跑快多了46F 111.251.204.95 台灣 02/13 01:21
推 stlinman: 先試試api吧!48F 150.116.129.113 台灣 02/13 01:36
推 ArcherX: 蠻好奇這樣可以跑多快49F 218.164.157.191 台灣 02/13 02:24
推 FreedomTrail: 跑7B還行，想跑671B?50F 1.169.201.211 台灣 02/13 03:07
推 a71245969: 推實驗精神，bilibili 有用transformers 跑6.6 tokens/s
Ktransformers51F 101.12.19.79 台灣 02/13 03:52
推 jboys75: 要怎麼看自己電腦的token數啊？54F 220.132.77.49 台灣 02/13 05:44
→ widec: deepseek動不動就過宅，是要怎麼用線上的3060我看對岸是說大約每秒10 tokens55F 1.165.9.178 台灣 02/13 06:31
→ xiemark: 現在可以在3060上跑14b, 速度很好。用cpu, 可跑32b速度可以接受。
但是還是要用cpu 跑671b, 測試。
訓練ai確實一定要用gpu, 因為都是用fp32 或fp16來算。但推論都是經過量化的，多以int8來算，cpu不見得不好
上面有人提到ktransformer, 也要先建一個至少512gb dram的平台，再用4090加速
這次先讓它能跑起來就好了57F 1.200.242.89 台灣 02/13 06:53
→ SRNOB: 太貴。e5 26xxv4 x2 不過應該都被炒起來了66F 111.255.92.61 台灣 02/13 08:05
→ zzahoward: https://tinyurl.com/29nvcw8367F 136.226.240.114 台灣 02/13 08:29

--
作者 xiemark 的最新發文:
點此顯示更多發文記錄