回看板
Disp BBS
看板 Stock
作者 waitrop (嘴砲無雙)
標題 Re: [新聞] 阿里巴巴推新晶片 中企搶攻自主技術拼不
時間 Mon Sep  1 08:11:46 2025

週末來閒聊美中AI晶片的故事,
這是我個人觀點也會加上我對未來十年的看法,
我盡量避免中美政治議題與辦公室政治學

先說結論,
這也是我當年面試高通SnapDragon Core team時,
最大的頭跟我說的話:
業界一直在重複循環相同的發展,
從大到小, 小再到大,
從單機到分散式處理, 再從分散式處理到單機

他當年在IBM做Mainframe,
同時期的競爭對手是SunMicro System,
當時的情況就跟現在AI比拼算力一模一樣,
大家都想盡辦法做出超級電腦,
結果他們團隊在離開IBM時的最後一個project,
是跟蘇大媽合作的cell process, 給遊戲機使用,
然後他們出來開公司做的是手機ARM CPU,
而同樣的對手從SunMicrso System離開也是開公司(PA Semi)做手機ARM CPU,
又很巧合的一家被高通收購,
另一家被蘋果收購,
他說他們無法想像同一個團隊做比一個房間還要大的超級電腦,
最後居然是做比一個指甲還要小的手機CPU

以下是我的看法,
AI 晶片正在走過一模一樣的路,
現在處在堆算力的超級電腦階段,
之後一定會慢慢演變到EdgeAI,
模型也一定會從LLM 慢慢轉變成分散式處理的SLM,
我無法給確切時間,
但是我猜兩三年內會轉換成分散式處理的SLM,
EdgeAI的應用應該在三到五年內會普及,
再多說就太底層的東西,
我自己也不是很懂,
反正你上網找SLM, LLM, EdgeAI 就能找到相對應的公司股票

接下來我用編年史的方式描述AI晶片的發展過程,
大概在2010年之前,
大部分的ML都還是靠CPU 運算比較多,
GPU加速有, 但是幫助不大,
真正帶起這波AI浪潮的關鍵在2010年初期,
有人拿GPU 去跑類神經網路 (neural network),
把一個卡住四五十年的人類古老科技 (neural network),
用GPU 的算力重新定義,
也就是Deep Learning,
AI 晶片突然火紅起來

在2010年初,
只有NVDA GPU能跑Deep Learning,
華為在那時候想開發類似的AI 晶片跑Deep Learning,
也就是昇騰的第一版,
同時間,
寒武紀把NPU AI晶片的想法實現在手機上,
谷歌那時候也看到Deep Learning的威力, 開始開發TPU
所以第一波AI晶片的領跑者是NVDA,
谷歌, 華為, 寒武紀大概落後NVDA一兩年,
不過同樣是第一梯隊

手機NPU的研發相對沒那麼困難,
所以隔不久,
很多公司也就跟著發表類似的手機NPU,
包含蘋果, 高通, 谷歌 (Tensor), 聯發科 (後來分出來成耐能科技),
這大概是2016年左右

但是server端的AI 晶片開發並不順利,
很多公司嘗試打入 server AI 晶片, 全都失敗,
這段時間, 2016-2022年,
只有NVDA 一家寡占,
其中有一些公司陸續開發一些ASIC,
像是阿里巴巴的含光, Amazon ASIC, 谷歌TPU,
但是"每年"一直持續開發演進的只有谷歌TPU,
原因是AI應用達到瓶頸了,

Deep Learning 在影像處理跟語音辨識等等超強,
但是到了2022年,
這些應用已經到了極限, 能用到的都用了,
圖像分辨率可以高達99.99% (你逃不掉天網的),
AI很像要冷卻下來了,
現有的ASIC 處理影像, 語音跟手機照相, 監視器等等已經足夠,

然後就迎來了AI二次革命, ChatGPT,
這個真的把業界打得措手不及,
谷歌是真的被殺的很慘,
尤其GPT這算法還是谷歌自己發明自己open source,
被別人拿自己的魔法來攻擊自己,
2022年之後,
ChatGPT 帶來LLM的需求,
之前所有的設計全都不適用, 不能用在LLM,
不論是NPU, TPU, 含光, 昇騰全都不能用在LLM,
整個架構跟設計必須重做,
當然,
事情沒有真的那麼糟,
畢竟LLM (ChatGPT) 只是千萬種AI應用之一,
大部分的AI應用不用LLM的話,
舊有的ASIC跟架構還是能順順使用

只是2022年之後,
LLM ChatGPT在風頭上,
但是當時全世界只有NVDA GPU能夠跑LLM,
業界必須重新設計架構來面對LLM,
這兩三年業界也的確研發出新的架構可以處理LLM,
包含博通, Alab, Mrvl, 谷歌TPU等等,
華為的解法是類似博通Alab的方式用網路堆算力,
阿里巴巴跟寒武紀的架構我就不熟了,
故事講完了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
※ 作者: waitrop 2025-09-01 08:11:46
※ 文章代碼(AID): #1ejEJ4ae (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1756685508.A.928.html
※ 同主題文章:
[新聞] 阿里巴巴推新晶片 中企搶攻自主技術拼不再依賴輝達
08-29 23:18 sam20135
Re: [新聞] 阿里巴巴推新晶片 中企搶攻自主技術拼不再依賴輝達
08-30 14:16 waitrop
Re: [新聞] 阿里巴巴推新晶片 中企搶攻自主技術拼不
09-01 08:11 waitrop
→ bnn: tapeout週期性發展 先做個大的把東西塞進去Demo功能然後再微縮化想辦法做小省錢提高die count
做小後新的知識和layout成熟就繼續做大 堆數量提升達成更高單晶片算力 loop1F 09/01 08:25
推 sswgame: 推分享，學歷史5F 09/01 08:31
推 easyman: Edge 我賭riscv6F 09/01 08:33
→ totoro7923: 商學組  有看沒有懂 淚）7F 09/01 08:38
推 davie11333: 謝謝TQ王分享8F 09/01 08:43
推 sdbb: 謝謝9F 09/01 08:44
推 birdane32: FPGA呢10F 09/01 08:46
推 stevenkuo: 厲害，六年級前端班生以上嗎11F 09/01 08:48
推 sdbb: 祝假期愉快12F 09/01 08:49
推 shead1983: 好文值得推，感謝提供投資思維13F 09/01 08:51
推 meviswei: 嗯嗯對對跟我想的一樣14F 09/01 09:01
推 palapalanhu: 推15F 09/01 09:03
推 noddle: 感謝16F 09/01 09:17
推 roseritter: 推故事17F 09/01 09:20
推 dragonjj: 謝謝分享 現在似乎要專精於網路的迭算力 所以傳輸很重要 單個晶片就是拚不過輝達 要並聯了!18F 09/01 09:33
推 Destiny6: 感謝分享，感覺LLM還要再變革架構才能更前進就是... 可能是用免費版CHATGPT吧，失憶還是滿嚴重的...20F 09/01 09:35
→ ActionII: 狗家兩邊都有成果，看影片感覺新披索的edgeai還不錯22F 09/01 09:43
推 israelii: https://i.imgur.com/CBNWRvk.jpeg24F 09/01 09:44
[圖]
→ ActionII: 重返榮耀？25F 09/01 09:44
→ israelii: 阿里巴巴開盤就大漲18％ 有夠猛 但台灣要買很麻煩 應該沒有什麼人吃到這一波 可惜26F 09/01 09:45
推 pantani: 美股baba啊  蒙格之前被套很慘28F 09/01 09:49
推 flyawayla: 感謝前輩分享，先推再享用29F 09/01 10:03
→ welkin0105: 美股的巴巴上周五就十多趴了，敢追要心臟大顆30F 09/01 10:10
推 qw99992: 買狗沒事31F 09/01 10:18
推 strlen: 他的手穿過我的巴巴32F 09/01 10:32
推 atpx: 推分享33F 09/01 10:47
推 andy7829: 推講古34F 09/01 10:49
推 masala: 推AI講古！我猜gpt無法講得比這篇好35F 09/01 11:12
推 tkc7: 好奇架構為何不能用在LLM? 不都是deep learning36F 09/01 11:12
原來的架構記憶體不夠大可以處理LLM 訓練,
NVDA GPU 在那時候就已經可以串連(NVLink, NVSwitch)做LLM 訓練
→ rbelldandy: 卷起來棒37F 09/01 11:20
※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:04:45
推 lanslore: 推分享38F 09/01 12:04
※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:05:44
推 minazukimaya: 繪圖架構的天生優勢就是大通道高頻高容量記憶體囉畢竟原本需求就要存大量的texture
我覺得下一波需求Server AI會從LLM往World Model走LM會下放到edge AI 但會往雲端調用高級需求(深度推理之類)
Edge需要更深度與Home和Glass之類的應用整合39F 09/01 12:14
推 hc23310: 推一個45F 09/01 12:22
推 doitlasting: 好文推
請問edge AI現在已經很成熟了不是嗎？例如車用、工廠自動化之類的，認為會有爆發性成長是指在更多領域？46F 09/01 13:32
EdgeAI 跟 SLM 只是個統稱,
其方向是對某些AI應用做本地端的硬體加速與應用,
每種不同的EdgeAI 跟 SLM 都有完全不同的設計,
所以EdgeAI 與SLM 的方向跟AGI剛好相反,
但是可以透過分散式處理達到AGI的效果

所以EdgeAI 很成熟只在特定某些部分的應用,
目前最成熟的是圖像辨識跟語音辨識,
比方說人臉辨識99.99%準確率,
阿里巴巴的含光最強的就是圖像辨識這塊,
被拿去裝在無人商店監視器, 天網系統, 小愛等等,

但是Chat GPT類的應用在 EdgeAI 非常不成熟,
目前只有Gemini 能夠在EdgeAI 本地執行,
OpenAI ChatGPT要遠端連線到伺服器處理

我個人看法,
自駕車跟智慧眼鏡雖然還稱不上是成熟,
但是自駕車跟智慧眼鏡的EdgeAI廣泛運用今年已經開始,
大概一兩年的時間能夠成熟,
監視器,語音辨識等等已經完全成熟,
最後最難的部分會是在手機的EdgeAI,
因為手機的EdgeAI 會比較偏向AGI,
各種AI應用都會想在手機上面實現

推 minazukimaya: Edge AI永遠都有功耗和性能提昇的需求 因為哪些應用和運算會下放到Edge是一個動態進化的過程50F 09/01 13:41
推 lawy: 推52F 09/01 13:42
推 doitlasting: 類似windows或iso 要一直update然後越來越吃硬體規格這樣？53F 09/01 13:45
推 minazukimaya: 是也不是 作業系統再怎麼升級功能都是作業系統
Edge AI的硬體升級是整個AI社會架構層面運算力分配規劃與能源效率尺度的問題55F 09/01 13:49
推 ups: 漲知識：）58F 09/01 14:12
※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 14:42:14
推 bj45566: 感謝業內人士分享59F 09/01 18:50

--
作者 waitrop 的最新發文:
點此顯示更多發文記錄