[閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢? - PC_Shopping板

看板 PC_Shopping
作者 hugh509 ((0_ 0))
標題 [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
時間 Sat Jul 1 17:17:31 2023

先說我不懂AI運算
只是看了林亦的新影片
https://youtu.be/UsfmqTb2NVY

不想點的，說個大概
意思是
由於M2 Ultra的記憶體是CPU與GPU共用
而且GPU調取記憶體沒啥限制(?
等於有著超大容量和高速頻寬的顯存

對比的是i9 12900+3080TI
中間跑什麼運算什麼訓練，我是不懂

但他的結論、標題
都表明Mac PRO具有極高性價比(他是說最高
可是這套方案要30萬欸
他更是呼籲老黃要出大容量的顯卡

如果蘋果是真的有這麼大優勢
會影響未來PC遊戲卡迭代速度嗎?

--
「我看不到」
「欸我真的看不到」
「」
「我還是什麼都看不到啊...」
「我看不到我看不到我看不到!」

--

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.194.31 (臺灣)
※ 作者: hugh509 2023-07-01 17:17:31
※ 文章代碼(AID): #1ad-ylzP (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1688203055.A.F59.html

→ kivan00: 沒生態你要用什麼跑？手刻API嗎1F 223.138.207.31 台灣 07/01 17:19

→ kalarotia: 又在吹蘋果,不累嗎2F 42.75.153.202 台灣 07/01 17:22

→ hugh509: 林亦當然是吹，我關心的是PC卡會不會影響3F 111.253.194.31 台灣 07/01 17:23

推 SunFox58: 不影響 end4F 111.249.161.157 台灣 07/01 17:27

推 ducamao: 你如果連他吹的用途都看不懂的話，那換句話說。兩個沒交集的領域要怎麼影響5F 1.172.237.112 台灣 07/01 17:35

推 raider01: 問題兩邊GPU性能差多少，花同樣的錢可以買到等級不低的運算卡了吧
3080Ti一張也才多少怎麼會拿來比？7F 42.72.191.32 台灣 07/01 17:37

→ scarbywind: 只比硬體你拿AMD不是更便宜10F 223.141.96.189 台灣 07/01 17:39

推 E6300: 3080ti回血阿11F 61.227.209.144 台灣 07/01 17:41

→ as134679258: 互不影響遊戲卡要的是運算 AI要的是大容量跟傳輸帶寬前面展示的大容量帶來得訓練優勢後面展示大語言模型在local執行的能力
說可以抵8張主要是拿顯存放模型
跟需不需要那些算力沒直接關係12F 125.228.131.13 台灣 07/01 17:46

→ fishworm: 你花30萬都已經能買到a100了，好歹也拿價格近似的東西來比吧18F 114.36.185.115 台灣 07/01 17:48

推 s78513221: 老黃的大顯存是資料中心的專業卡
民用想要的是大顯存的遊戲卡兼學習20F 114.136.113.95 台灣 07/01 17:50

推 aegis43210: 老黃又不是傻子，為什麼要出大容量的顯示卡，蘋果這個能算的模型又不多22F 123.204.13.213 台灣 07/01 17:52

推 s78513221: 但目前的務實之選是…接人家現成的24F 114.136.113.95 台灣 07/01 17:53

→ aegis43210: 能玩的遊戲也少，看不出有什麼競爭力25F 123.204.13.213 台灣 07/01 17:54

→ hugh509: 所以大容量並不是遊戲卡和計算卡共同方向還以為計算卡被打擊，遊戲卡也會間接受益因為看到這代頻寬開砍有點傻眼
價格漲上那麼多規格還有倒退嚕的喔26F 111.253.194.31 台灣 07/01 17:54

推 Arbin: SoC在記憶體頻寬上絕對有優勢
但Core ML的生態系太疲軟了30F 111.71.218.44 台灣 07/01 18:00

推 tony1768: 先要有人要支援32F 223.139.17.165 台灣 07/01 18:01

推 aegis43210: 繪圖卡的強項是渲染和成像，這塊才是老黃最大的護城河33F 123.204.13.213 台灣 07/01 18:02

→ spfy: 30萬比12900+3080ti？35F 203.121.243.239 台灣 07/01 18:12

→ fishworm: 不過蘋果M2的確是workstation上cp好
如果有軟體支援，M2目前的確是性價比最36F 114.36.185.115 台灣 07/01 18:14

→ Alwen: 不過沒人會拿顯卡跑訓練吧= =38F 118.232.100.36 台灣 07/01 18:17

→ commandoEX: 一張3080不夠強你能上兩張啊39F 118.171.101.225 台灣 07/01 18:19

噓 kira925: 老黃跟蘇媽：歐40F 42.72.32.24 台灣 07/01 18:19

→ commandoEX: M2Ultra就沒有擴充性了41F 118.171.101.225 台灣 07/01 18:19

→ Alwen: 然後一般用戶也買不起也拿不到Grace hopper42F 118.232.100.36 台灣 07/01 18:20

→ fishworm: 如果你的模型夠輕量就可以用消費級跑
通常在於概念驗證，或是edge端上使用
蘋果這格會影響的是小型工作站原本會買1~2張消費級顯卡，現在改買M2
但要說動搖老黃AI霸權，或消費級PC
可以說幾乎沒有43F 114.36.185.115 台灣 07/01 18:22

→ Alwen: 其實真能幹翻老黃，新聞早就滿天飛惹= =
現在消費級PC端老黃都快一統天下= =
影片測試AI繪圖...M2好慘..49F 118.232.100.36 台灣 07/01 18:31

推 raider01: 可是拿a100打遊戲也不會弱到哪去，肯定比m2ultra好= =
就上上面說的CP值真的那麼高那些搞資料中心的早就多買幾台插滿RAM就好了
然後原本用N家的也幾乎不太可能轉，光是系統轉換就有問題了，運算程式還要重寫52F 42.72.191.32 台灣 07/01 18:56

→ iuytjhgf: 就特定用途而已啊模型不夠大還沒優勢58F 111.252.228.72 台灣 07/01 19:03

推 qwe753951: mi300: hello59F 111.71.45.226 台灣 07/01 19:12

推 aegis43210: 工作站要拿RTX 6000 ada來比才能真的比較CP值60F 123.204.13.213 台灣 07/01 19:12

推 tututoto: https://i.imgur.com/12XEA01.jpg62F 122.118.14.68 台灣 07/01 19:28

推 comipa: 只能玩到沒有hopper的哭哭~
GraceHopper最大是480+96GB, NV:M2Ultra?63F 220.133.98.140 台灣 07/01 19:35

推 Rust: 有沒有可能NV轉身就推出MacPro的專用顯示卡65F 123.241.92.153 台灣 07/01 19:43

→ Alwen: 不可能水果行封閉不是一兩天的事情66F 118.232.100.36 台灣 07/01 19:55

→ hugh509: MacPro不是不能插顯卡了67F 111.253.194.31 台灣 07/01 19:59

推 nextpage: 上個月他們開發步會出新桌機時就特別強掉插槽不能用來插顯卡了,鐵了心要分道揚彪68F 136.23.35.40 台灣 07/01 20:15

→ scarbywind: 蘋果現在最主要的問題是你一定會在工作流程中的某個環節斷鍊
x86頂多就是跑起來效能不太好貧果是完全不能跑71F 223.141.96.189 台灣 07/01 20:23

推 aigame: 有cuda嗎沒有啊花30萬結果這也不能裝那也不能玩,本地安裝還要找大神有沒有做就算有算圖速度也不行,組4090十二萬算很頂了上個廁所回來高解析運算跑了四十圖以上不用高解析洗個澡算個三百圖算基本款而已
還有sd一堆插件能不能安裝都是問題就樓上說的一定會斷鍊為何我不用完全沒相容問題的4090?75F 111.82.162.195 台灣 07/01 20:28

推 alvistan: 蘋果說已經太強了不需要插顯卡83F 125.229.106.95 台灣 07/01 20:33

噓 a27417332: 先噓他，影片越來越沒料84F 61.231.12.41 台灣 07/01 20:43

噓 NoneWolf: 價格都不用統一下？那乾脆拿1030比好了我也用Mac 但這完全就是無腦果粉zzzz85F 1.200.48.70 台灣 07/01 20:48

推 a28200266: 蛤87F 36.224.242.164 台灣 07/01 20:49

→ justicebb: 水果就是用封閉換取效率
比較類似遊戲主機的優化概念88F 123.110.214.163 台灣 07/01 20:51

→ a28200266: 這論點太迷幻了90F 36.224.242.164 台灣 07/01 20:54

推 raider01: 而且想到另一個重點，如果用內顯都可以的話，又不太需要顯卡效能，那我隨便找一顆有內顯的CPU把RAM插好插滿不久好了?結論就是M2跑AI有CP根本假議題91F 42.75.199.171 台灣 07/01 21:21

推 EAFV: 果粉價值點滿+錢太多+不急著生出成果才會選這個吧95F 49.216.133.17 台灣 07/01 22:03

噓 jacklin2002: 這傢伙跟鐘文澤就同一個路線的97F 114.24.221.204 台灣 07/01 22:04

推 Gauss: 他整部影片都在講Mac Studio 吧？哪來Pro177,999 台幣就能用上192g的vram很香吧？也不用core ML，PyTorch已經原生支援MPS了連我的老AMD顯示卡MacBook都能煉丹了
（只是用AMD效率很差）98F 111.250.209.193 台灣 07/01 22:47

→ mark0912n: Mac Studio的滿血M2 Ultra大概是20.8萬這價格的大顯存替代方案很少吧
不過影片標題也太浮誇了103F 1.169.208.108 台灣 07/01 22:59

推 PTTfaggot: 拿ps5來運算不是更屌？106F 36.225.219.164 台灣 07/01 23:02

→ mark0912n: 上面說CPU把RAM插滿 VRAM和RAM不一樣吧107F 1.169.208.108 台灣 07/01 23:05

推 creepy: 幾個月前都可以透過pytorch跑SD了108F 118.165.139.207 台灣 07/01 23:24

推 guanting886: 這個問題就在你到底是在做事還是像個傻子在比規格。
只要能用較低的成本完成某件事那真的是不錯，至少多一點競爭大廠才不會搞怪。109F 42.77.248.121 台灣 07/01 23:25

推 leaveleft: 其實個人消費級的電腦，拿來做特定的AI運算，是蠻值得買M2U的，自己建立蘿莉模型，然後不受道德約束...扯遠了，但是一般中小型企業真的要搞自己的模型，思考方式就跟個人不同了，穩定、拓展性、兼容性，已經不會去計較省幾萬元了，我對mac沒有研究那麼深，不知道可不以8台Mac studio 串在一起運算，如果可以的話，中小型公司確實可以考慮串起來搞AI114F 98.227.3.119 美國 07/01 23:41

推 Ereinion9895: 問就是生態，要是有生態就能贏，沒生態你硬體再強也無用武之地124F 27.247.226.61 台灣 07/01 23:42

推 tr920: 民用ai機，現在m1m2的確是cp值最高的，不用懷疑，已經很多ai應用測試結果都是如此126F 58.114.47.190 台灣 07/01 23:51

推 jhangyu: 樓上一堆觀念錯誤還誇誇其談
顯存和記憶體不會分？
顯示卡的記憶體頻寬多少
你一般記憶體頻寬多少？
現在珍貴的是顯存容量好嗎？
M 系SoC做到的一點是同一記憶體同時具有顯存的能力
連這個重點都沒抓到
上面一堆還來亂講甚麼鬼東西
還把1030插滿記憶體咧，供三小
當然我不是果粉
M2的問題在於空有硬體沒有軟體
光算圖速度就差別人一大截，那個GPU使用率根本沒跑滿
這就要等看有沒有更多人願意投入生態開發了
當然以蘋果的不封閉就會死的死樣子
我看還很漫長拉128F 59.127.175.174 台灣 07/01 23:56

→ raider01: 有人不知道內顯是直接共用普通記憶體?146F 42.75.199.171 台灣 07/02 00:00

推 jhangyu: 然後上面有人說到重點
現在生態基本上都是圍繞CUDA開發的
你開發一個模型東缺一個library西缺一個dependencies
光解決這些問題就飽了，浪費一堆時間
時間就是錢，一般公司還是直接買A100/H100最快147F 59.127.175.174 台灣 07/02 00:01

推 as6633208: 講真的，nv AI強的也不是4090，而是A100，在更上面超級伺服器等級的還有dgx gh200，甚至nv軟體的優勢cuda，蘋果也沒有提出取代方案，我不覺得蘋果有那麼神可以光靠一個M2晶片就超越nv經營這麼久的AI領域154F 114.137.216.121 台灣 07/02 00:02

→ jhangyu: 共用普通記憶體有屁用
你能把模型load進去嗎160F 59.127.175.174 台灣 07/02 00:02

推 mark0912n: 內顯共用普通記憶體你能跑到800GB/S?162F 1.169.208.108 台灣 07/02 00:02

→ raider01: 上面有人說M2優點是記憶體可以開大
那不就只是內顯跟一般記憶體共用了
反正不是說顯卡運算效能不重要?163F 42.75.199.171 台灣 07/02 00:03

→ mark0912n: 那是建立在m2和顯卡有差不多帶寬好嗎166F 1.169.208.108 台灣 07/02 00:05

推 jhangyu: 人家記憶體直接做在SoC旁邊
頻寬有800G/s
你繞遠路經過主機板的普通記憶體頻寬有多少？
連人家1/10都不到，賣鬧167F 59.127.175.174 台灣 07/02 00:05

→ raider01: 直接用內顯算把東西丟到記憶體上就好172F 42.75.199.171 台灣 07/02 00:05

→ jhangyu: AI運算需要的是記憶體容量和頻寬兩者兼具173F 59.127.175.174 台灣 07/02 00:06

推 Gauss: 說內顯的那位保障沒用過任何AI框架
根本沒先了解卻能大放厥詞175F 111.250.209.193 台灣 07/02 00:06

→ jhangyu: 鬼扯發言，幻想很美好
叫他自己把自己說的鬼話實現一次看看
我想看笑話177F 59.127.175.174 台灣 07/02 00:07

→ Gauss: 怎麼不把模型load進HDD的虛擬記憶體裡？
上百T的虛擬記憶體隨便用180F 111.250.209.193 台灣 07/02 00:07

推 as6633208: https://reurl.cc/94D77v182F 114.137.216.121 台灣 07/02 00:09

適用於大型記憶體人工智慧超級電腦的 DGX GH200 | NVIDIA

NVIDIA DGX GH200 專為處理適用於大型推薦系統、生成式人工智慧和圖形分析的 TB 級模型而設計。 ...

推 jhangyu: 他還有發言要用A100來打遊戲
他連上禮拜極客灣的影片都沒看
那個A100裡面全是AI單元，根本跑不動遊戲
還打遊戲不會輸咧
A100打遊戲根本內顯都打不過
因為它壓根就不是拿來打遊戲的183F 59.127.175.174 台灣 07/02 00:14

推 guanting886: 某樓你A100 80G 30萬能買到，你跟哪位經銷叫貨的可以分享一下嗎？190F 122.121.245.63 台灣 07/02 00:51

推 aegis43210: A100可以玩遊戲呀，到了H100才砍了一堆RT單元192F 123.204.13.213 台灣 07/02 01:08

→ ehai0725: 價差這麼大說cp值，果粉邏輯堪慮...194F 39.15.49.62 台灣 07/02 01:59

→ w3160828: 都30萬了幹嘛不拿a100195F 36.237.217.2 台灣 07/02 02:19

推 hellomotogg: 編譯xcode也沒比較快196F 124.218.58.241 台灣 07/02 03:35

推 seanwu: 感覺很像10年前在推的HSA計算XD
另外傳統內顯印象中也不是unified memory理想上是要CPU/GPU共用MMU的，
單純主記憶體切一塊給GPU不算197F 125.229.71.95 台灣 07/02 08:59

推 Chilloutt: 蘋果軟體的生態圈完全不用擔心201F 223.137.34.212 台灣 07/02 10:04

推 ptta: 一台m2 ultra 可抵8張顯卡202F 220.136.6.9 台灣 07/02 10:34

推 fthufccqpk: 以前Mac PRO intel版頂歸可是要16X萬203F 59.126.81.227 台灣 07/02 11:10

噓 a000000000: 就HSA沒有真的推起來過
然後剛好m2 ultra記憶體可以到192GB現在LLM又需要超大記憶體
現有的pc平台不管hsa+超大記憶體都無法實現
我記得蘇媽大概zen5還哪代
好像就要把mi300那種架構放一般server差不多等於mi300把hbm換普通dram
如果server有那TR級的就有機會惹204F 76.132.63.174 美國 07/02 12:27

推 haworz: 要快直接根據演算法出ASIC不是更快213F 223.139.178.169 台灣 07/02 14:49

推 a1234567289: 樓上執行模型只需要晶片是不是214F 49.216.42.200 台灣 07/02 16:46

推 comipa: 把ram一起刻進去 (X)215F 220.133.98.140 台灣 07/02 17:12

推 a1234567289: 跑模型還需要Compiler 和Runtime 捏 CUDA做了一堆事…216F 49.216.42.200 台灣 07/02 17:36

推 aegis43210: 先做一個可以過濾雜訊的AI演算法，不然記憶體一直肥大218F 123.204.13.213 台灣 07/02 21:47

→ sableangle: 說30萬怎麼不去買A100的大概也覺得只要有A100 CPU 主機電源什麼都不用的就可以開始算了大概對要買到可以開機要花多少錢沒什麼概念220F 49.158.21.172 台灣 07/02 21:50

推 airken99: 只關心到移動端AI的發展，一體化架
構應該有優勢224F 111.83.23.157 台灣 07/02 22:42

→ Alwen: 這個在B站被噴翻欸= =226F 118.232.100.36 台灣 07/02 22:48