看板 PC_Shopping
作者
標題 [請益] LLM 顯卡選擇
時間 Tue Jun 10 17:39:38 2025
作者
標題 [請益] LLM 顯卡選擇
時間 Tue Jun 10 17:39:38 2025
目前新電腦是 5060ti 16G 打遊戲用
舊電腦(閒置)是
CPU intel 9900T
RAM 64G
VGA 3060 12G
想說閒置中 要考慮跑 AI 的話
請問再補一張 3060 12G (共兩張)
會比 5060ti 16G 強嗎 (主要是看能放得下多大的 model)
不會的話就... 考慮新電腦灌雙系統
會的話可能就閒置的電腦再補一張 3060 12G 來跑
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.68.41 (臺灣)
※ 作者: Balezo 2025-06-10 17:39:38
※ 文章代碼(AID): #1eH_rSOH (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1749548380.A.611.html
推 : 啟動5090
12g塞不了甚麼模型1F 101.10.244.223 台灣 06/10 17:45
12g塞不了甚麼模型1F 101.10.244.223 台灣 06/10 17:45
→ : 想問雙卡有沒有搞頭...
不然不如等 DGX SPARK3F 114.38.68.41 台灣 06/10 17:48
不然不如等 DGX SPARK3F 114.38.68.41 台灣 06/10 17:48
→ : 強在一點，模型16G塞不下去時，不然都輸
另外多卡SD生圖還是分別算圖，所以只生一張圖的時候多卡跟單卡一樣5F 59.126.70.191 台灣 06/10 17:50
另外多卡SD生圖還是分別算圖，所以只生一張圖的時候多卡跟單卡一樣5F 59.126.70.191 台灣 06/10 17:50
推 : 雙卡沒搞頭 沒辦法pool memory
賣掉貼補新卡吧9F 101.10.244.223 台灣 06/10 17:53
賣掉貼補新卡吧9F 101.10.244.223 台灣 06/10 17:53
推 : 用過w11+ubuntu 雙系統超難用
最後直接純ubuntu 開虛擬機windows了11F 101.9.194.247 台灣 06/10 17:56
最後直接純ubuntu 開虛擬機windows了11F 101.9.194.247 台灣 06/10 17:56
→ : 另外主板兩個pcie*16都CPU跑*8跟一13F 59.126.70.191 台灣 06/10 17:56
→ : 重開機換系統的時候grub會一直卡住14F 101.9.194.247 台灣 06/10 17:56
→ : 個cpu直出跑16+南橋的pcie，跑起來反應時間不一樣，後者不推15F 59.126.70.191 台灣 06/10 17:56
推 : 可以用Glows.ai 直接線上跑17F 223.139.188.215 台灣 06/10 18:04
推 : 第三季英特爾好像要出b60
單卡記憶24g然後400多鎂18F 111.249.129.222 台灣 06/10 18:11
單卡記憶24g然後400多鎂18F 111.249.129.222 台灣 06/10 18:11
推 : 雙卡又沒nvlink…..直接用雲服務可能比較省事，不然要模型塞得進單卡vram（好點的顯卡或小模型）還是用ram/vram共用架構（project digit或apple silicone)，或aidaptive +。20F 1.169.235.18 台灣 06/10 18:14
→ : AI MAX 395迷你電腦大概14k RMB ，vram能到96 GB，可以先去B站看一下優缺點分析26F 42.77.3.187 台灣 06/10 18:18
→ : dgx spark在開預購單了28F 42.72.220.178 台灣 06/10 18:18
→ : 了解 來研究看看。不過 DGX台灣好像還沒看到預購消息...29F 114.38.68.41 台灣 06/10 18:24
→ : 雙系統中的不如開虛擬機，除非你要玩valorant，這遊戲不能在虛擬機裡玩31F 27.53.8.101 台灣 06/10 18:24
→ : 說到雙系統 我之前的確是用 ubuntu + winVM XD...33F 114.38.68.41 台灣 06/10 18:26
→ : AI MAX或 Mac mini黃金RAM升滿35F 118.171.218.146 台灣 06/10 18:27
→ : 看起來好像真的是統一記憶體最有 cp 值36F 114.38.68.41 台灣 06/10 18:28
推 : 統一記憶體 優:裝得下 缺:處理器慢所以也沒有CP值 要是內顯+記憶體灌滿就能打獨顯了 RTX6000還要賣嗎37F 36.237.111.119 台灣 06/10 18:39
→ : 雙卡會比單卡慢一點喔 跟模型大小、pcie通道數、最慢顯卡拖後腿都有關係42F 101.12.145.197 台灣 06/10 18:55
推 : 你不如......先跑，跑了就知道缺哪補哪44F 49.218.209.122 台灣 06/10 19:03
→ : 不划算，新顯卡花的錢改用在api上都不知道可以用幾年了，可用的模型還強的多46F 101.10.157.241 台灣 06/10 19:12
推 : 請教跑本地LLM有什麼好處48F 203.204.195.174 台灣 06/10 19:26
推 : 隱私49F 123.240.70.241 台灣 06/10 19:27
推 : Pro 6000現在跟我講要排到8月9月50F 36.237.171.188 台灣 06/10 19:28
推 : 那還不如租h200 一小時2美金51F 203.204.195.174 台灣 06/10 19:30
推 : 只跑LLM不如直接open router儲值52F 118.170.143.147 台灣 06/10 19:43
推 : 可以往阿婆那邊買M3 Ultra或者便宜
的M4 24GB53F 36.237.171.188 台灣 06/10 20:00
的M4 24GB53F 36.237.171.188 台灣 06/10 20:00
推 : Spark台灣有開放npn排 有需要的可站內Rtx pro 6000也可站內
但一般人其實用mac 或ryzen AI比較划55F 42.75.223.50 台灣 06/10 20:08
但一般人其實用mac 或ryzen AI比較划55F 42.75.223.50 台灣 06/10 20:08
推 : 我串api比電費便宜，nano還比本地反應快，尷尬58F 49.214.10.231 台灣 06/10 20:54
推 : 考慮 5060 ti 16g +1 跑 ai 生圖60F 114.24.26.168 台灣 06/10 21:22
推 : Core 2 T9900?61F 123.195.78.164 台灣 06/10 21:47
推 : 這時間點應該是DGX SPARK直接買下去
那個價格能跑200B大模型 秒殺所有RTX62F 1.161.147.209 台灣 06/10 22:23
那個價格能跑200B大模型 秒殺所有RTX62F 1.161.147.209 台灣 06/10 22:23
推 : 能跑跟跑得快是兩回事 你以為真有那麼爽買Spark不如買509064F 219.68.125.23 台灣 06/10 22:50
推 : 那個只是跑得動而已 真的要拿來應用還是離很遠的程度66F 220.137.9.222 台灣 06/10 23:57
推 : Ollama玩一玩就好了
跑大量資料跑久了會進幻覺 還會亂碼串OpenAI大部分你會遇到的問題人家解決了
DGX Spark就是可預期的到大概就搶不到QQ68F 42.78.143.117 台灣 06/11 00:40
跑大量資料跑久了會進幻覺 還會亂碼串OpenAI大部分你會遇到的問題人家解決了
DGX Spark就是可預期的到大概就搶不到QQ68F 42.78.143.117 台灣 06/11 00:40
→ : 啟動5090+174F 36.230.134.148 台灣 06/11 15:46
推 : 5090也只能跑一秒5 token是要怎麼用75F 203.204.195.174 台灣 06/11 23:33
--