※ 本文轉寄自 ptt.cc 更新時間: 2025-06-11 20:24:37
看板 PC_Shopping
作者 標題 [請益] LLM 顯卡選擇
時間 Tue Jun 10 17:39:38 2025
目前新電腦是 5060ti 16G 打遊戲用
舊電腦(閒置)是
CPU intel 9900T
RAM 64G
VGA 3060 12G
想說閒置中 要考慮跑 AI 的話
請問再補一張 3060 12G (共兩張)
會比 5060ti 16G 強嗎 (主要是看能放得下多大的 model)
不會的話就... 考慮新電腦灌雙系統
會的話可能就閒置的電腦再補一張 3060 12G 來跑
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.68.41 (臺灣)
※ 作者: Balezo 2025-06-10 17:39:38
※ 文章代碼(AID): #1eH_rSOH (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1749548380.A.611.html
推 : 啟動50901F 101.10.244.223 台灣 06/10 17:45
→ : 12g塞不了甚麼模型
→ : 12g塞不了甚麼模型
→ : 想問雙卡有沒有搞頭...3F 114.38.68.41 台灣 06/10 17:48
→ : 不然不如等 DGX SPARK
→ : 不然不如等 DGX SPARK
→ : 強在一點，模型16G塞不下去時，不然5F 59.126.70.191 台灣 06/10 17:50
→ : 都輸
→ : 另外多卡SD生圖還是分別算圖，所以
→ : 只生一張圖的時候多卡跟單卡一樣
→ : 都輸
→ : 另外多卡SD生圖還是分別算圖，所以
→ : 只生一張圖的時候多卡跟單卡一樣
推 : 雙卡沒搞頭 沒辦法pool memory9F 101.10.244.223 台灣 06/10 17:53
→ : 賣掉貼補新卡吧
→ : 賣掉貼補新卡吧
推 : 用過w11+ubuntu 雙系統超難用11F 101.9.194.247 台灣 06/10 17:56
→ : 最後直接純ubuntu 開虛擬機windows了
→ : 最後直接純ubuntu 開虛擬機windows了
→ : 另外主板兩個pcie*16都CPU跑*8跟一13F 59.126.70.191 台灣 06/10 17:56
→ : 重開機換系統的時候grub會一直卡住14F 101.9.194.247 台灣 06/10 17:56
→ : 個cpu直出跑16+南橋的pcie，跑起來15F 59.126.70.191 台灣 06/10 17:56
→ : 反應時間不一樣，後者不推
→ : 反應時間不一樣，後者不推
推 : 可以用Glows.ai 直接線上跑17F 223.139.188.215 台灣 06/10 18:04
推 : 第三季英特爾好像要出b6018F 111.249.129.222 台灣 06/10 18:11
→ : 單卡記憶24g然後400多鎂
→ : 單卡記憶24g然後400多鎂
推 : 雙卡又沒nvlink…..直接用雲服務可20F 1.169.235.18 台灣 06/10 18:14
→ : 能比較省事，不然要模型塞得進單卡
→ : vram（好點的顯卡或小模型）還是用
→ : ram/vram共用架構（project digit
→ : 或apple silicone)，或aidaptive +
→ : 。
→ : 能比較省事，不然要模型塞得進單卡
→ : vram（好點的顯卡或小模型）還是用
→ : ram/vram共用架構（project digit
→ : 或apple silicone)，或aidaptive +
→ : 。
→ : AI MAX 395迷你電腦大概14k RMB ，vram能到26F 42.77.3.187 台灣 06/10 18:18
→ : 96 GB，可以先去B站看一下優缺點分析
→ : 96 GB，可以先去B站看一下優缺點分析
→ : dgx spark在開預購單了28F 42.72.220.178 台灣 06/10 18:18
→ : 了解 來研究看看。不過 DGX台灣好像還沒看29F 114.38.68.41 台灣 06/10 18:24
→ : 到預購消息...
→ : 到預購消息...
→ : 雙系統中的不如開虛擬機，除非你要玩valo31F 27.53.8.101 台灣 06/10 18:24
→ : rant，這遊戲不能在虛擬機裡玩
→ : rant，這遊戲不能在虛擬機裡玩
→ : 說到雙系統 我之前的確是用 ubuntu + win33F 114.38.68.41 台灣 06/10 18:26
→ : VM XD...
→ : VM XD...
→ : AI MAX或 Mac mini黃金RAM升滿35F 118.171.218.146 台灣 06/10 18:27
→ : 看起來好像真的是統一記憶體最有 cp 值36F 114.38.68.41 台灣 06/10 18:28
推 : 統一記憶體 優:裝得下 缺:處理器慢37F 36.237.111.119 台灣 06/10 18:39
→ : 所以也沒有CP值 要是內顯+記憶體灌滿
→ : 就能打獨顯了 RTX6000還要賣嗎
→ : 所以也沒有CP值 要是內顯+記憶體灌滿
→ : 就能打獨顯了 RTX6000還要賣嗎
→ : 雙卡會比單卡慢一點喔 跟模型大小、pci42F 101.12.145.197 台灣 06/10 18:55
→ : e通道數、最慢顯卡拖後腿都有關係
→ : e通道數、最慢顯卡拖後腿都有關係
推 : 你不如......先跑，跑了就知道缺哪44F 49.218.209.122 台灣 06/10 19:03
→ : 補哪
→ : 補哪
→ : 不划算，新顯卡花的錢改用在api上都不知道可46F 101.10.157.241 台灣 06/10 19:12
→ : 以用幾年了，可用的模型還強的多
→ : 以用幾年了，可用的模型還強的多
推 : 請教跑本地LLM有什麼好處48F 203.204.195.174 台灣 06/10 19:26
推 : 隱私49F 123.240.70.241 台灣 06/10 19:27
推 : Pro 6000現在跟我講要排到8月9月50F 36.237.171.188 台灣 06/10 19:28
推 : 那還不如租h200 一小時2美金51F 203.204.195.174 台灣 06/10 19:30
推 : 只跑LLM不如直接open router儲值52F 118.170.143.147 台灣 06/10 19:43
推 : 可以往阿婆那邊買M3 Ultra或者便宜53F 36.237.171.188 台灣 06/10 20:00
→ : 的M4 24GB
→ : 的M4 24GB
推 : Spark台灣有開放npn排 有需要的可站內55F 42.75.223.50 台灣 06/10 20:08
→ : Rtx pro 6000也可站內
→ : 但一般人其實用mac 或ryzen AI比較划
→ : Rtx pro 6000也可站內
→ : 但一般人其實用mac 或ryzen AI比較划
推 : 我串api比電費便宜，nano還比本地反應快58F 49.214.10.231 台灣 06/10 20:54
→ : ，尷尬
→ : ，尷尬
推 : 考慮 5060 ti 16g +1 跑 ai 生圖60F 114.24.26.168 台灣 06/10 21:22
推 : Core 2 T9900?61F 123.195.78.164 台灣 06/10 21:47
推 : 這時間點應該是DGX SPARK直接買下去62F 1.161.147.209 台灣 06/10 22:23
→ : 那個價格能跑200B大模型 秒殺所有RTX
→ : 那個價格能跑200B大模型 秒殺所有RTX
推 : 能跑跟跑得快是兩回事 你以為真有那麼爽64F 219.68.125.23 台灣 06/10 22:50
→ : 買Spark不如買5090
→ : 買Spark不如買5090
推 : 那個只是跑得動而已 真的要拿來應用66F 220.137.9.222 台灣 06/10 23:57
→ : 還是離很遠的程度
→ : 還是離很遠的程度
推 : Ollama玩一玩就好了68F 42.78.143.117 台灣 06/11 00:40
→ : 跑大量資料跑久了會進幻覺 還會亂碼
→ : 串OpenAI大部分你會遇到的問題人家
→ : 解決了
推 : DGX Spark就是可預期的到大概就搶不
→ : 到QQ
→ : 跑大量資料跑久了會進幻覺 還會亂碼
→ : 串OpenAI大部分你會遇到的問題人家
→ : 解決了
推 : DGX Spark就是可預期的到大概就搶不
→ : 到QQ
→ : 啟動5090+174F 36.230.134.148 台灣 06/11 15:46
推 : 5090也只能跑一秒5 token是要怎麼用75F 203.204.195.174 台灣 06/11 23:33
--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 66
→
guest
回列表(←)
分享