作者
標題 [請益] 有人用Mac Studio跑AI大型模型了嗎
時間 Thu Apr 24 14:53:36 2025
標題 [請益] 有人用Mac Studio跑AI大型模型了嗎
時間 Thu Apr 24 14:53:36 2025
最近看到要塞大模型的話要很多顯卡記憶體
還要設定串聯有的沒的
最近Mac Studio有出了512記憶體的版本
好像甚麼模型都快塞得進去了
跑起來如何呢
感覺慢一點沒關係
但至少精度會比較好對吧
有高手可以指點一下嗎
在想說要買MAC跑還是用顯卡的方式來跑
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.176.121 (臺灣)
※ 作者: QMO220 2025-04-24 14:53:36
※ 文章代碼(AID): #1e2T_q3P (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1745477620.A.0D9.html
※ 編輯: QMO220 (42.79.176.121 臺灣), 04/24/2025 14:54:38
![[圖]]()
--
推 : 跑模型沒問題 問題是沒錢1F 114.33.212.198 台灣 04/24 14:55
推 : 看需求 有更便宜方 直接說結論 使用API方便養一頭牛喝一瓶鮮奶太浪費2F 111.255.74.80 台灣 04/24 14:55
推 : 除非真的有什麼敏感資料，不然還是付費用API比較實用。
加上Mac Studio的記憶體頻寬還是太差，性能很難媲美目前主流平台的速度。4F 136.23.34.83 台灣 04/24 15:06
加上Mac Studio的記憶體頻寬還是太差，性能很難媲美目前主流平台的速度。4F 136.23.34.83 台灣 04/24 15:06
→ : 如果只選這兩種方案當然是買顯卡啊
最終都是看哪個社群比較強大8F 163.26.206.202 台灣 04/24 15:09
最終都是看哪個社群比較強大8F 163.26.206.202 台灣 04/24 15:09
→ : 會跑超慢吧，但至少是能跑10F 203.66.179.162 台灣 04/24 15:14
→ : 之前有MacbookProM4跟雷蛇旗艦對幹的片是贏Studio的可以找或等看看有沒有review11F 147.79.28.18 日本 04/24 15:22
→ : 能接受的定義是？ 一秒鐘回一個字還是10分鐘回一個字？13F 42.77.101.3 台灣 04/24 15:26
推 : 直接買API就好了 在MAC上跑就是玩興趣的 誰真的工作用本機跑啊.......
起碼個人或一般商家不需要考慮這種事情吧15F 36.235.208.188 台灣 04/24 15:28
起碼個人或一般商家不需要考慮這種事情吧15F 36.235.208.188 台灣 04/24 15:28
→ : 比32gb顯卡好多了18F 219.79.95.88 香港 04/24 15:34
![[圖]](https://i.imgur.com/v7lA9Vth.jpeg)
→ : 目前看到速度大概是18.87t/s 這個成本跑deepseek-r1:671b(4bit MLX)我只能說有錢可以捐公益剩下的買api就好20F 36.229.66.96 台灣 04/24 15:43
推 : 自己訓練模型才需要
如果沒要訓練，API便宜很多23F 211.20.234.13 台灣 04/24 15:46
如果沒要訓練，API便宜很多23F 211.20.234.13 台灣 04/24 15:46
推 : 只能說土豪25F 223.137.6.57 台灣 04/24 15:55
→ : 另外提醒，加到512實作上仍不可能放進一個滿血的ds，還是老老實實買H200陣列吧26F 36.229.66.96 台灣 04/24 16:01
→ : 這個版,只要問就是回答買新的28F 123.51.165.127 台灣 04/24 16:05
推 : 蘋果除了記憶體大之外，跑訓練非常慢，推論也輸同價格的老黃，不建議為了AI買蘋果
6000 ada現在已經非常好入手了32F 106.104.73.84 台灣 04/24 16:10
6000 ada現在已經非常好入手了32F 106.104.73.84 台灣 04/24 16:10
推 : 買來配Ollama跑跑量化模型除了慢了點外沒啥問題 訓練就不用想了
同樣70b量化 mac的建置成本就是比買卡便宜和省電 但就是推論慢 只適合實驗用36F 42.70.220.23 台灣 04/24 16:20
同樣70b量化 mac的建置成本就是比買卡便宜和省電 但就是推論慢 只適合實驗用36F 42.70.220.23 台灣 04/24 16:20
推 : 買 API 用就好，經濟實惠41F 36.224.191.123 台灣 04/24 16:27
推 : 買5090沒錢，換mac studio依樣也是沒錢42F 140.109.40.73 台灣 04/24 16:52
推 : 要跑參數稍微大的模型 單張5090還不夠勒43F 110.28.113.251 台灣 04/24 16:53
--