作者 pennyleo (今朝有酒今朝醉)標題 [問卦] 請問如果要架設自己的ai主機時間 Tue Mar 3 17:16:37 2026
請問
如果要假設自己的ai主機
如果不要架語言模型這種高運算的
顯卡rtx 16g和24g能用的模型數量會「差很多」嗎？
我聽很多人說16g的越來越不好用
但是如果只是想買來練習自己架設環境的能力，還有怎麼弄好rag檢索等等功能
16g可以嗎？
因為24g的顯卡，比16的貴上一倍多的價格
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.210.254 (臺灣)
※ 作者: pennyleo 2026-03-03 17:16:37
※ 文章代碼(AID): #1ffgRtmd (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1772529399.A.C27.html
噓 bluebluelan: 別鬧了 你至少要裝gpt oss 120b1F 76.21.19.169 美國 03/03 17:17
推 Supasizeit: 3b 什麼顯卡跑不動2F 203.204.195.174 台灣 03/03 17:20
噓 b9021008: llm3F 101.8.232.66 台灣 03/03 17:21
→ adios881: 會 要就盡可能最大
16已經是基本款在2026
我是畫色圖色影片的16要珊珊剪剪
更不用說你用之後主流的 transformer
transformer 色圖核心 16 已經很痛苦
(8g還在賣的真的都是垃圾）4F 162.120.248.79 美國 03/03 17:21
--