看板 Stock
作者 waitrop (嘴砲無雙)
標題 Re: [新聞] 減少依賴輝達 傳微軟將推自研首款AI晶片
時間 Sun Oct  8 16:05:17 2023


每次討論到Nvidia 就會引戰,
但是看到一堆不實的指控,
又會讓我忍不住想說明,
然後就引戰刪文,無限循環

先說結論:CUDA
就此打住,再多說就是引戰

這幾家大型軟體公司有自己的晶片與硬體研發團隊已經十幾年以上,
當然有自己的AI晶片一點都不會意外,
就以新聞說的微軟來討論,
微軟AI晶片主要有兩個項目: OpenAI, Cloud
OpenAI 用的晶片是微軟跟AMD合作,
由AMD主力開發賣給微軟

Cloud的部分才是新聞說的首款自製晶片,
這款自製晶片的研發團隊由兩個主力組成:
xbox硬體團隊 + 原snapdragon cpu core團隊,
原snapdragon cpu core團隊被高通整組裁員之後全部被微軟收下,
改作微軟Cloud 的晶片,
xbox硬體團隊除了xbox之外,
比較有名的是hololen project,
這個團隊實力很強,
做出來的AI晶片應該是不錯,
不過微軟很多時候做硬體只是為了殺價用,
讓人懷疑他們自己軟體部門是否會願意使用這款自製的晶片

同樣情況Amazon AWS有一堆自製的晶片與硬體,
最有名的是AWS ARM CPU 跟 lab126,
同樣的Google Cloud 也有一堆自制晶片與硬體,
甚至安卓/pixel/nest 也有一堆自製晶片,
所以不要以為市場只有Nvidia 能做AI晶片,
這些大型軟體公司都有能力做AI晶片,
效能都不輸Nvidia,
問題在CUDA (我不多做解釋了)

※ 引述《Lushen (pttlushen)》之銘言:
: 上次台裔Google科學家紀懷新Ed H. Chi (L9)來台灣接受訪問的時候就有談到這個:
: 今天記者會上,紀懷新也解密,其實 Google 在訓練 AI 時,100% 使用的都是自家的
: TPU,「Google 很早就在 AI 領域投入了大量資源,包括硬體,包括裡頭的數學、算法等
: ,這些都是我們的強項。」
並不是100% 使用的都是自家的TPU,
最多就只是他的部門的某一兩個project 用自家的TPU,
我沒有詳細數字,
但是我猜大概50%用自家的TPU

原因很簡單,
自家的TPU是對自家特殊的算法做加速,
每個TPU的設計都不同,不能共用,
比方說,
現在最熱門的LLM需要極大的記憶體空間,
對運算速度需求反而不是最大瓶頸,
所以會有一款特製TPU把記憶體拉到最大來符合LLM需要,
但是這款TPU拿去做search, youtube 圖像辨識等等卻又不適用了,
並不是每個算法與專案項目都有相對應的TPU,
可能難度過大或是需要的資源過多,
也有可能這個專案只需要一些機器就夠用,
也有可能這個專案只需要一次性短時間train data,
所以很多算法與專案項目是直接拿Nvidia or AMD GPU


: Google 2023 最新的論文
: TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with
: Hardware Support for Embeddings
: Abstract
: 1.2x–1.7x faster and uses
: 1.3x–1.9x less power than the Nvidia A100
客製化的TPU or ASIC一定比GPU快,
某些TPU在某些特殊算法上面的應用甚至比H100 快很多,
但是這些TPU or ASIC並不是通用AI 晶片,
無法通用在各式各樣的算法與應用


: 大公司自己搞這些東西沒問題
: 沒資源搞這些有的沒的 還是只能跟Nvidia買沒衝突
: 至於什麼生態
: 大公司完全可以自己在公司搞一套自己專用的工具
: 進來的人自然會想辦法學會這套工具怎麼用
: https://www.inside.com.tw/article/32510-Google-Bard-Ed
: 微軟要搞鏟子好啊
: 還是只能找台積電代工
: 代工鏟子94舒服
: ※ 引述《jerrychuang ()》之銘言:
: : 原文標題:
: : 減少依賴輝達 傳微軟將推自研首款AI晶片
: : 原文連結:
: : https://ec.ltn.com.tw/article/breakingnews/4451397
: : 發布時間:
: : 2023/10/07 11:13
: : 記者署名:
: : 原文內容:
: : 〔財經頻道/綜合報導〕根據《The Information》報導,微軟(Microsoft)可能下個月
: : 在其年度開發者大會上,推出首款專為人工智慧 (AI)設計的晶片。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
※ 作者: waitrop 2023-10-08 16:05:17
※ 文章代碼(AID): #1b8cA_rs (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1696752319.A.D76.html
※ 同主題文章:
Re: [新聞] 減少依賴輝達 傳微軟將推自研首款AI晶片
10-08 16:05 waitrop
kakar0to: CUDA只是一個語言.要取代很容易1F 10/08 16:07
zerro7: 蘋果只是一種手機 要取代很容易?2F 10/08 16:08
pkro12345: 晶片只是一堆砂子 要取代很容易3F 10/08 16:09
la8day: 長久下來還是會不斷有人試著用ASIC4F 10/08 16:11
stkoso: 那你慢慢取代 我都賺爛了10幾年後你再開始賺5F 10/08 16:11
Brioni: CUDA是框架吧?Linux: fxxx you NV
怎沒人弄一個開源的?還是都寄望OpenCL?不可能吧
不過玩大顆GPU的其他大廠也只有AMD、牙膏,他們不合作搞開源新框架,其他廠就是繼續自己開ic6F 10/08 16:21
xm3u4vmp6: 可以參考George Hotz的想法
他講過AMD驅動就是爛到爆 軟體爛
一堆想搞ai晶片的思路是錯的 要從軟體先下手10F 10/08 16:25
abccbaandy: 1F嘴砲誰不會? 這麼多年有人取代了?13F 10/08 16:30
xm3u4vmp6: https://geohot.github.io/blog/jekyll/update/2023/05/24/the-tiny-corp-raised-5M.html
一堆新創ai晶片多少死掉 根本騙投資人 重點是讓現有的軟體無腦運作順暢在你的晶片14F 10/08 16:35
the tiny corp raised $5.1M | the singularity is nearer
Here we go again. I started another company. The money is in the bank. ...

 
xam: 通常開源的缺點就是驅動力不足,優點也是沒驅動力的情況下18F 10/08 16:42
lolpklol0975: 像IOS的生態? NV也創建自己的生態20F 10/08 16:58
bnn: 生態圈是幾萬幾十萬開發者的力量 你要一家公司對幹你要嘛證明說你有成倍的提升 要嘛你更簡單好用上手不然你就要降價夠便宜讓其他公司跟你租21F 10/08 17:03
k85564: 1F嘴砲 csp用自己的晶片不可能完全取代gpu的24F 10/08 17:22
henry326326: 1F是我看過今天最好笑的話,完美的展現出對軟體業的無知25F 10/08 17:53
pacino: 黃董說過:NVDA是軟體公司。知道了吧?27F 10/08 19:46
TWkobe5566: C++也是一種語言 要取代很容易XD28F 10/08 20:18
xm3u4vmp6: 我在等tinygrad超猛電腦只要15000鎂
可以先預購 超便宜的啦29F 10/08 21:42
Sixigma: 台積電也只是一家公司,要取代很容易31F 10/08 21:45
q3512768: 1F是在反串嗎嚇死了32F 10/08 22:06
dragonjj: 其實AMD也有在搞 但是沒有CUDA 加上一堆演算法專家不去支援 所以CUDA就讀大了!33F 10/08 22:08
twlin: 微軟今年初已經把整個cpu core團隊裁掉了…35F 10/08 22:55
能做事比不上政治正確,
這件事我十年前就看破了,
十年前明明做出64bit kryo,
卻因為政治問題被上層壓著不出反而去用ARM IP,
之後卻把過錯怪在這個組上面大裁員,
當時我就看破離開,
IP 組沒掛revenue 的都是這樣任人宰割,
後來他們約我去微軟開發AI 晶片,
但是我進去之後還是覺得這條路不是辦法,
必須要自己掌握住revenue 跟 end product 才行,
所以我又離開了

現在他們加入ARM 應該會比較好一點,
在Jeff 下面有他保護著,
不會有這些政治問題,
Jeff 是個好人,
也跟我一起流浪到這幾個組,
他算是自己人,
也很了解他們的政治問題

ekgs: CUDA弄開源XDDD 我看你逆向工程要做到哪時36F 10/08 23:14
fourkg: 你忘了推TQQQ37F 10/09 00:22
kamitengo: 那為啥tesla要搞dojo?這些在台面上的都富可敵國,請foundry代工後自用,針對自己的應用優化設計,也不對外銷售,nv想阻擋都無從下手。這幾家開始
tape out就是現在進行式38F 10/09 00:35
jin20040117: 很多地方很精闢喔 他們的SoC團隊跟DDR團隊很有實力42F 10/09 00:50
tanted: CUDA 應該是類似編譯器43F 10/09 01:44
ejnfu: 那還是皮衣刀客有遠見啊44F 10/09 01:50
※ 編輯: waitrop (76.103.225.6 美國), 10/09/2023 04:55:21
zerro7: 看CUDA的歷史 十幾年前就開始推了 用習慣很難跳吧除非有足夠誘因 更便宜 更好用之類的45F 10/09 08:17
revorea: 只是一個語言(笑爛47F 10/09 08:30
create8: 把軟體做好對一群vendors 來說是很困難的.. 誰不想往大型軟體公司跳..48F 10/09 11:48
brightest: 不是政治問題吧 而是cp問題 用別人的ip划算就不用自己養 ip廠當然就沒這個問題50F 10/09 22:36
nangaluchen: tesla開dojo兩個原因
1.tesla focus 在自駕 應用相當狹隘 適合自己開ADIC2.Musk本來就是很愛搞新項目的人 他想試試看
但tesla終究在遇到非自駕的部分 還是要回來買H10052F 10/09 23:07

--
作者 waitrop 的最新發文:
點此顯示更多發文記錄