作者
標題 Re: [菜單] DeepSeek 671b大模型推理機
時間 Sat Feb 15 22:21:03 2025
標題 Re: [菜單] DeepSeek 671b大模型推理機
時間 Sat Feb 15 22:21:03 2025
※ 引述《xiemark (aisinjuro)》之銘言：
: 已買/未買/已付訂金（元）：未買
: 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用
: CPU來算
: CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500
: MB (主機板)： 超微H11SSL-i 二手 ＄8900
: RAM (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800
: VGA (顯示卡)： 舊EVGA 3060 12G(已有)
: Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850
: SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590
: HDD (硬碟)：
: PSU (電源供應器)： 台達 金牌全模組650W $2890
: CHASSIS (機殼)：
: MONITOR (螢幕)：
: Mouse/KB (鼠鍵)：
: OS (作業系統)： Ubuntu
: 其它 (自填)：
: 總價 (未稅/含稅)：$36530
: CPU 主機板、DRAM在洶寶買。
: 是否有更好選擇
: 謝謝
這幾天前的舊文，今天才想到，你不是第一個想到用AMD EPYC跑AI
這邊也有人用跟你類似的配備跑671B deepseek
https://www.youtube.com/watch?v=Tq_cmN4j2yY
MZ32-AR0 motherboard
64 core EPYC CPU (cpu選下面三個其中一個)
7702
7C13
7V13
Rack Frame
CPU cooler h170i elite capellix xt
1TB NVMe - Samsung 980 Pro
850W PSU
-------------------------------------
他這樣成本約2000美元，他為了省成本用的是上一代的EPYC CPU
他是可以跑671B的deepseek，但他token產生速度也慢的要死
他影片就說了，一秒大約3~4 token，你看他影片中文字輸出速度也看的出來
他影片下面的網站連結也有他整個軟體建置教學
如果你打算個人用是還好，但你要多人用，除非你們團隊可以忍受這速度
不然還是乖乖付錢找有提供deepseek的雲端主機商來用
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.125.250 (臺灣)
※ 作者: a1e 2025-02-15 22:21:03
※ 文章代碼(AID): #1diABMm9 (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739629270.A.C09.html
推 : 只能說目前 AI 要自建的門檻還是高了點，雖然遠比以前低很多1F 39.9.226.110 台灣 02/15 22:55
推 : Ktransformers目前有人測試變智障3F 123.252.19.17 台灣 02/15 23:07
推 : 算一算不如買api 但是現在又不給買4F 111.255.65.34 台灣 02/15 23:07
→ : 等待他重新測試是不是載的模型有問題5F 123.252.19.17 台灣 02/15 23:07
推 : KTransformers可以參考一下 可提昇速度6F 106.104.71.59 台灣 02/15 23:07
推 : 前天中國清大團隊有搞出4090單卡671B的方案好像15tk/s感興趣的可以上對岸論壇搜尋一下7F 114.41.78.239 台灣 02/15 23:41
![[圖]](https://i.imgur.com/Mg5i6fth.jpeg)
推 : deepseek上線第一天我就買API了
後來後臺都登不進去XD11F 36.239.84.195 台灣 02/16 01:58
後來後臺都登不進去XD11F 36.239.84.195 台灣 02/16 01:58
→ : 如果圖是真的, RAM 還 768GB... |||13F 140.112.30.188 台灣 02/16 06:44
推 : AI時代 PC應該學蘋果搞一個大統一內存14F 1.200.130.145 台灣 02/16 07:48
推 : 蘋果無法插dram, 最高只有192gb15F 1.200.8.165 台灣 02/16 08:59
推 : 768很正常吧 用來取代GPU RAM16F 118.168.228.97 台灣 02/16 13:59
--
作者 a1e 的最新發文:
- 14F 6推
- 16F 1推 3噓
- 12F 7推
- 說到這個，心裡就滿滿幹意，我就是買到有I255V網卡主機板的(記得I226V也有問題) 大約兩年前買X570S，當年高階主機板大部份都是INTEL網卡晶片 RealTek都是中階版在用的 買回來第一 …151F 48推
點此顯示更多發文記錄