看板 PC_Shopping作者 capcomjohnny (魯到開店)標題 [請益] AI用卡請益時間 Tue Mar 18 10:02:43 2025
大家早安大家好，最近在跑一些自用模型時，總發現顯卡的ram不夠用，有點換換病發作
，?
原設備：
CPU:12400
GPU:4070ti12g
RAM:32g
電供:850W
用途就是打打lol跟星海，蠻少玩大作的，螢幕還是1080P的，大概是沒什麼遊戲壓力。
因為有辦法跑中國保固，所以最近在看一些魔改類的。
便宜：
2080ti22g
優點：便宜，CP值高
缺點：舊、慢、缺了一些精度、礦、只保1年
3090 24g
優點：CP值高
缺點：熱爆、過保、礦
貴爛：
4090 48g
優點：BIOS直上，啥都不用改，保3年，強的要死
缺點：渦輪跟戰鬥機一樣吵(滿載60分貝)、商家可能跑路、窮、窮、窮
4090 24G
優點：強、原廠在顧
缺點：旁邊有個3年保的48G、買不到、跟48G差沒多少
5090 32G
優點：更強、原廠在顧
缺點：我買不到、窮、窮、窮、窮
好像現在比較好玩的就這幾張，如果發言很新手的話，沒錯，剛玩沒多久，也沒有什麼生
產
老黃就不能出一張RAM大一點的效能差一點的卡嗎@@
4070ti只有這個玩不了跟那個玩不了，另外想請教一下，這樣狗騎呂布應該不太影響玩AI
吧
謝謝大家
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.199.97.67 (臺灣)
※ 作者: capcomjohnny 2025-03-18 10:02:43
※ 文章代碼(AID): #1dsDH5Rb (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1742263365.A.6E5.html
→ yocpswang: 等大船v1001F 114.33.180.131 台灣 03/18 10:07
好像...好像可以耶.不過這個能跑遊戲嗎
→ jasn4560: 超過16G都是貴啊 如果16G能跑
撿張4070TiS加減用吧2F 27.242.65.244 台灣 03/18 10:08
最終下下策
推 Shigeru777: Project DIGIT / Mac Studio4F 39.15.72.200 台灣 03/18 10:12
一直有點好奇project digit的顯存到底多大，看不懂規格
推 EnosKP: 首推RTX PRO 60005F 36.239.205.209 台灣 03/18 10:18
把我賣掉也買不起啊
直接去對面買，這邊買去升級價差不大
11萬的還能想想，20萬的把我殺了
推 Jackey52013: 能跑的都買不到，夢裡吧8F 42.74.227.121 台灣 03/18 10:32
睡覺睡覺
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 10:36:54
推 isoBlue: 我現在跑LLama3.3 70B是用4090+5090
這樣所有的Layer都可以Load到GPU上
Q4的Quantization，還有VRAM放Context9F 1.34.249.50 台灣 03/18 10:38
→ destroyss: 4090 48G捏下去最快 25K CNY12F 59.127.46.14 台灣 03/18 10:42
目前最大的vram了
→ isoBlue: 文字生成大概在15t/s13F 1.34.249.50 台灣 03/18 10:43
4090+5090太壕了
→ isoBlue: 以CP值來說最高還是二、三手的3090多張14F 1.34.249.50 台灣 03/18 10:44
→ Ceferino: vram怎麼會不夠用呢，5070 12g都有人在吹跑AI了15F 123.193.242.14 台灣 03/18 10:46
吹，往死裡吹
→ barbarian579: 4070tis跑gemma3:27b跟qwq:32b推理 結論：真心推薦直上509017F 111.82.150.36 台灣 03/18 10:54
可惜買不到
→ soulgem: 忍不住就去買最新的全 vram 筆電吧...
但是全 vram 筆電可能無法滿足遊戲需求不然就是 DRAM 拉到頂... 只拉得到 256G19F 140.112.30.188 台灣 03/18 11:07
全vram可能還不流行，剛剛爬了一下難道是在說project digit
推 kme6833291: fun科技有用兩張intel 770
能跟4090差不多22F 61.71.225.88 台灣 03/18 11:20
等等來看一下
推 guogu: 32B的模型用12 16GB的顯卡應該是塞不進vram24F 112.78.74.181 台灣 03/18 11:31
推 kkes0001: was25F 223.137.112.128 台灣 03/18 12:08
※ 編輯: capcomjohnny (1.172.131.51 臺灣), 03/18/2025 12:17:10
→ sino6445: 不在乎速度的話，Ram上128G，用CPU跑，可以用90B的模型26F 61.219.215.24 台灣 03/18 12:32
→ a4537: Project DIGIT / Mac Studio 都是統一記憶體，ram=vram28F 39.12.136.242 台灣 03/18 12:52
噢噢噢原來是這個意思，那我這樣10萬買到128g的顯存他不香嗎？
→ a4537: 所以上網看不少人拿Mac Studio跑AI，CP值很高30F 39.12.136.242 台灣 03/18 12:52
我連linux都不太會用QQ
→ a4537: 我是在等Project DIGIT，希望上市時可以買得到XD32F 39.12.136.242 台灣 03/18 12:54
推 a71245969: 大船V100 32g也是貴到哭 看下來只有4090 48gb有點搞頭 但還是超貴
4張3090除了超熱 電源穩定性也很不家用34F 49.216.44.246 台灣 03/18 13:02
我可能一個迴路還會跳電
→ a71245969: MAC跑AI看中國論壇跟reddit 說用開源的project很不方便，現在還是cuda 當道40F 49.216.44.246 台灣 03/18 13:10
老黃獨佔
→ a71245969: QQ42F 49.216.44.246 台灣 03/18 13:10
推 kme6833291: intel 770玩星海跟lol沒有問題43F 61.71.225.88 台灣 03/18 13:38
推 guogu: Mac我記得看測試速度跟顯卡比有落差
但還是屌打一般用cpu跑
還有超大ram可以跑比較大的模型44F 112.78.74.181 台灣 03/18 14:02
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 14:12:00
推 saiboos: H10047F 122.99.40.82 台灣 03/18 14:30
推 SexyEunha: 有考慮撿二手3090嗎48F 110.28.2.154 台灣 03/18 14:56
推 Shigeru777: 看過討論m3 ultra 跑 AI 性能接近 3090 把他當超大vram又省電的309049F 39.15.72.200 台灣 03/18 15:22
推 cutejojocat: 心臟大就2080ti22g或是4090 48g,
貴是缺點的話m3 ultra也沒便宜多少吧51F 36.229.236.216 台灣 03/18 15:41
推 Ghosts: Arc A770 可以跑沒錯，前提是你會用
別看fun科技跑量化模型很輕鬆
基礎配置麻煩的很，那個教學完全是在繞路裝ipex llm第一要件就是全用docker
然後要定頻，不然會發現token/s不如預期53F 140.118.155.56 台灣 03/18 15:59
推 jhjhs33504: 不管ram也好vram也好中間還有那才重點58F 1.162.121.228 台灣 03/18 16:17
推 z83420123: 可以直接4卡V100 16G阿 但整套要重弄V100 16G 好像850RMB吧59F 1.162.111.75 台灣 03/18 17:11
推 ouskit: mac最划61F 111.71.59.206 台灣 03/18 18:50
推 Bambe: 直接MacStudio頂規512G RAM可以跑600b62F 114.34.66.247 台灣 03/18 20:40
推 promaster: 用過一陣子魔改2080ti 22G是真的超值跑kohya_ss還可小贏4070ti
至於魔改4090 48G則是智商稅
捏多一點買6k Ada全新更有價值63F 1.161.128.82 台灣 03/18 21:13
--