---

※ 引述《ZMTL (Zaious.)》之銘言：
: 先上組好圖
: https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
: ------------
: 雙3090配置
: CPU (中央處理器)：i5-12400
: MB      (主機板)：MSI Z690 FORCE WIFI
: RAM     (記憶體)：威剛 64GB(32GB*2) DDR5-4800
: VGA     (顯示卡)：ZOTAC RTX 3090 TRINITY 24G
:                   MSI RTX 3090 Suprim X
: SSD   (固態硬碟)：Kingston金士頓 KC3000 1TB M.2
: PSU (電源供應器)：振華 Leadex 1200W
: CHASSIS   (機殼)：Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S
: 只留下了CPU、SSD、一張3090，沒了，對，就是這麼坑
: 因為雙3090跑LLM，LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板，
: 這個條件，基本上DDR4的主機板中沒有。
...
因為有人寫信問我心得，事隔半年剛好回饋一下。
先給結論- 現在玩AI不用硬追雙 3090 但至少要一張跑 Qwen27B & 後悔沒買雙 64G DRAM.
以下正文：
------------
框架與參數
http://go.chroniclecore.com/d/nodes.png

Windows 11 + WSL2 + Docker，跑 vLLM 0.30
模型：Qwen3.8-27B，AWQ W4A16 量化，單卡

我有兩個「腦」輪流用同一張卡（GPU1）：

‧自動腦：Qwen3.8-27B 原版
  context 32K，44–46 tok/s

‧對話腦：同基座的無審查社群微調版
  context 56K（KV cache 用 fp8），42–43 tok/s
  工具呼叫一次約 1.5 秒

共同參數：gpu util 0.92、max seqs 4、
tool parser qwen3_xml、reasoning parser qwen3、只載語言模型不載視覺編碼器

小提醒：綁卡請用 CUDA_VISIBLE_DEVICES，
只給 Docker 指定 --gpus device=1，模型照樣會載進另一張

------------
跑什麼
http://go.chroniclecore.com/d/vram.png

‧自動腦：我人不在電腦前的時候，半夜自動撈論文、抓時事、Agent總結記憶與做夢
  整理、盤點、貼標籤，一堆亂七八糟的雜事，預計一部分可能會逐步換給jev

‧對話腦：要無審查的聊天時才換上來，30 分鐘沒人用自動換回自動腦，懂得都懂

‧OCR：baidu Unlimited-OCR 抽文獻全文，到目前上百本書、幾百篇論文
       共約兩萬五千頁，平均 1.62 秒一頁

‧生圖：ComfyUI 跑 Krea 2 / Qwen-Image 2.1

‧embedding：bge-m3 丟給 CPU，不跟人搶顯存

寫程式我不用本地腦，還是雲端。當初說的 code review 初篩後來也沒做，
所以如果你是要給 coding agent 用，我這邊的數字參考就好。
我同意大部分資深工程師朋友玩 AI 的意見，寫程式用 costdown 的 LLM 在浪費生命。
（對 Gemini，我也在說你）

------------
雙卡的用途反轉

當初雙卡的目標是拆 Qwen3.6 35B MoE 給兩張跑，
但後來的 3.8 的 27B 更聰明，單卡就放得下。
35B MoE 每次運算據說也是秒級反應，但不確定是不是我沒有 NVLink 橋接器，
雙卡跑 35B 雖然還是快一點，但快不了多少也什麼優勢了。

所以現在是：
GPU0 = 桌面卡，接螢幕、打遊戲、OCR(趕工時)，偶爾接生圖，可能會嘗試加掛jev-like
GPU1 = 運算卡，腦、OCR、生圖輪班

GPU0 壓在 190W，因為不小心吃滿的話桌面會沒畫面。
要生圖時會自動判斷：我在跟對話腦聊天，ComfyUI 就上 GPU0；

GPU0 2023 年買 18000，GPU1 2026 4月年買 23000，現在一張會四萬了...
現在我也很難推大家玩雙 3090。

------------
踩坑（給考慮買二手3090的人）

用 Windows 是因為這台是家用電腦，工作跟打遊戲都在上面，代價是 WSL2 的坑一大堆
：

‧真正撞到的牆是 commit（實體記憶體+分頁檔），不是顯存
  WSL 裡模型用多少顯存，Windows 就要記一筆等量的記憶體帳
  有一晚實體記憶體還空 23GB，卻連報六次虛擬記憶體不足
  現在 64GB + 112GB 分頁檔（放 NVMe），兩個腦還是不能同時開
  → 我曾經說 128GB 沒啥用這我真的錯了，但現在記憶體大家都知道是金條...

‧權重放在 Windows 路徑給 WSL 讀，vLLM 冷啟動 30–40 分鐘
  搬進 Docker 原生卷後降到約 6 分鐘

‧兩張卡曾經在 Windows 下處於 SLI 模式，
  桌面的顯存整份鏡像到運算卡，吃掉約 3.5GB

‧兩張 3090 的 vBIOS 跟預設功耗不一樣（350W / 420W），
  買二手的話這個要看一下

‧疊羅漢最後沒改直立 XD

------------
設定很難，問 Claude

我剛開始用地端也是這個不會那個不會，
顯卡不會設定、LM Studio 或 Ollama 也不會設定，
可以跑但一直跳針，講話三不五時就斷掉，
那時候還是用 qwen3.6，我一度覺得地端 vLLM 什麼垃圾。

後來讓 Claude 看系統、全程操辦設定跟建設，現在要多舒服有多舒服。
遇到事情不懂就問 Claude/GPT，雲端地端用法不同，
外加雲端服務商隨時可以改規則、喊停服務，我希望我在不得不本地Coding前百度加油。

------------
隱藏招（未實測）

無審查對話腦掛 GPU1，理論上可以讓它當主腦去操作 GPU0 的 無審查 ComfyUI，
詳見這篇：[分享] Gemini + Comfyui + Qwen 實戰
https://www.ptt.cc/bbs/AI_Art/M.1790312988.A.3B4.html
至於為什麼兩端都無審查我就不說了，反正我有留這個配置還沒時間玩。

------------
整套系統兩張 3090 其實是我一套多代理人系統的算力節點，
旁邊還有：

‧一台舊 Xeon 主機當常駐伺服器，保存資料、半夜派工作
‧一台螢幕壞掉的退役筆電當監工，電池直接當 UPS
‧一台雲端 VPS 負責所有對外服務，佈署 MCP

‧Tailscale：全部機器串成私網，
  不用開 port、不用同一個區網，人在外面手機也連得回家
‧Bark：自架推播系統，
  半夜收班報告、GPU 狀態、機器掛掉的告警都推到手機

完整的硬體、拓撲跟事故紀錄我整理在這裡：

https://go.chroniclecore.com/infra

但說實在，細節我能講的也不多，
因為我的系統大概有 87% 我還在理解，從建設到寫出這篇說明都是靠 Claude 跟 Agent
，
我是負責爽（下判斷看結果）的，但你說這時代玩 AI 點點 Enter 就不用腦嗎？
我把這抽象的硬體系統跟 Agent 系統搭起來我每天都在覺得腦子不夠用。

這是我人生中玩過最好的策略 + 戰略遊戲 XD

--
AI_Art 生成式AI板 歡迎各方前來討論生成式AI相關議題！
──────────
◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆
LinkedIn：https://www.linkedin.com/in/zaious/ 
GitHub  ：https://github.com/Zaious
白皮書  ：https://github.com/Zaious/ChronicleCore-Architecture

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.161.5.91 (臺灣)
※ 作者: ZMTL 2026-09-28 22:28:46
※ 文章代碼(AID): #1gkdcYs5 (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1790605730.A.D85.html