回看板
Disp BBS
看板 Stock
作者 newbrain ()
標題 [新聞]地表最快AI晶片發布,哈佛輟學生挑戰英偉達
時間 Thu Jun 27 01:37:18 2024

原文標題：「地表最快」AI 晶片發布，哈佛輟學的本科生挑戰英偉達

原文連結：https://www.sohu.com/a/788693870_413981
「地表最快」AI 芯片发布，哈佛辍学的本科生挑战英伟达_Zhu_Etched_Gavin
[圖]
在刚刚宣布融资 1.2 亿美元后，Etched 又发布了目前的最快的 AI 芯片 —— Sohu。 据 Etched 官网介绍，Sohu
在硬件层面上集成了 Transformer 架构，是首个专为 Tra… ...

 

發布時間：2024-06-26 20:01 來源: 愛範兒

記者署名：

原文內容：
在談到AI、大模型、算力等關鍵字時，如果要提及硬體產品，很多人應該會不假思索的說
出英偉達。
一位華爾街分析師曾如此評論到：
人工智慧領域正在進行一場戰爭，而英偉達是唯一的軍火商。
的確，在AI 時代下，英偉達的地位是獨特又難以撼動的。但現在，有一位勇者準備正式
挑戰這個局面。
2022 年，Gavin Uberti 和Chris Zhu 創立了Etched.ai。他們從一開始就獲得了包括
Ebay 前CEO Devin Wenig 在內的536 萬美元的種子輪投資。
在剛剛宣布融資1.2 億美元後，Etched 又發布了目前的最快的AI 晶片
此Sohu 非彼搜狐，它號稱可以在毫秒級別的時間裡處理數千個單字。每秒能處理超過50
萬個tokens，運行Llama 70B 模型。
什麼概念呢？這就相當於可以在兩秒鐘內寫完《聖經》，或是一年寫15 兆個tokens。
根據Etched 官網介紹，Sohu 在硬體層面上整合了Transformer 架構，是第一個專為
Transformer 模型設計的專用晶片（ASIC）。

正是這種專用性，為Sohu 帶來了效能的巨大提升。相較於英偉達H100，Sohu 的推理速度
相提升了8 至10 倍。
搭載八片Sohu 晶片的伺服器，可以取代整整160 個英偉達H100 GPU。
對於程式場景，Sohu 可以透過蒙特卡羅樹搜索，並行相應數百個結果，給出最優秀的答
案。
無論是語音助理還是智慧客服，Sohu 都能做到在幾毫秒內分析數千個單字。
並且Sohu 還支援多重推測解碼，可以以極快的速度即時生成新的內容。作為全球首款Transformer 專用積體電路（ASIC）晶片，每張Sohu 晶片只有一個核心，
使用了台積電4nm 製造工藝，並配有144GB HBM3E 高頻寬記憶體。
相較於英偉達的下一代Blackwell（B200）GPU，Sohu 的速度提高了一個量級，價格也會
更便宜。短短兩年時間，Etched 從零開始成長到現在這番模樣，實在是一個「奇蹟」。

Etched 的創辦人Gavin Uberti 和Chris Zhu 都是華裔，兩人也都有豐富的背景。Gavin Uberti 和Chris Zhu 都曾就讀哈佛大學，度過了一段大學部生活。後來出於一些

原因，他們選擇休學一年，並在OctoAI 找到了一份實習工作。
當時兩人的工作內容，主要是負責ApacheTVM 開源編譯器和微內核開發。但在實習時，他
們發現Arm 的指示集中的一些設計十分低效，使得他們的工作效率很差。
Gavin Uberti 說到：「這個問題無法解決，每次工作時我都得面對這個問題，這讓我和
Chris 覺得我們必須做得更好。」在思考如何解決這個問題時，他們突然發現可以利用
這個想法來設計一款AI 加速晶片。

於是兩人便選擇了從哈佛輟學，創辦了一家專注於LLM 的AI 晶片新創公司—— Etched。
在Gavin Uberti 看來，通用公版設計無法帶來獲得突破性的效能提升，所
以他們才研發Transformer 架構下的專用加速晶片。
Gavin Uberti 曾說：
必須在單一架構上下大力氣，讓晶片處理AI 任務，目標太大了，必須要針對更具體的任
務來設計晶片… 我們認為英偉達最終會這麼做。目前主流的AI 產品如ChatGPT、Claude、Gemini 和Sora 等，都是以Transformer 架構驅
動的。作為全球首款Transformer ASIC 晶片，再配上如此亮眼的成績，Etched 自然也
是吸引了一大波關注。
6 月25 日，Etched 宣布完成1.2 億美元的A 輪融資。這次融資由紐約創投機構Primary
Venture Partners 和Positive Sum Ventures 共同領投。
其天使投資人陣容也十分強大，包括創投家Peter Thiel、GitHub 執行長Thomas Dohmke
、自動駕駛公司Cruise 的共同創辦人Kyle Vogt， 以及Quora 的共同創辦人Charlie
Cheever，
在2022 年創立之初，Etched 就看中了Transformer 將會佔據主導地位的未來。 Gavin
Uberti 表示，「我們在人工智慧領域下最大的賭注。」
如果我們賭對了，Sohu 將改變世界。這就是我們敢於下注的原因。


心得/評論：
搞AI晶片都一定要有華人血統才純正? (誤)
繼上次說有整片晶圓就是一個晶片設計的公司後
另一個真正有實力挑戰NVIDIA的公司出現了
號稱比GB200還快八倍的晶片
不過要挑戰我大輝達，先能越過CUDA的護城河再說


https://i.imgur.com/NIYC5CT.png
[圖]

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.228.113 (臺灣)
※ 作者: newbrain 2024-06-27 01:37:18
※ 文章代碼(AID): #1cV57HtN (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1719423441.A.DD7.html
推 onekoni: https://i.imgur.com/F1iIKjY.jpeg1F 06/27 01:39
[圖]
※ 編輯: newbrain (122.116.228.113 臺灣), 06/27/2024 01:40:42
推 cchh179: 華人還是蠻厲害的2F 06/27 01:41
→ kausan: 才給融資1.2億 看起來又是圈錢的3F 06/27 01:47
推 chses910372: 這個我先觀望，目前看文章應該是針對transformer
專屬的處理器，不知道是真的還是吹很大4F 06/27 01:48
推 ga278057: 這個餅畫的有點大,不把AMD放在眼裏還8倍,八倍里奇 babyrage6F 06/27 01:48
推 js850604: 問題是CUDA強在通用8F 06/27 01:49
推 alphish: 原來nVIDIA是在跌這個9F 06/27 01:51
推 icedog122: NVDA完了10F 06/27 01:52
推 yuen1029: 這一定是韓國人11F 06/27 01:53
推 The4sakenOne: 買個股這種被天降猛男打趴的風險實在是太高了，尤其是科技業12F 06/27 01:56
推 wzshi: 還是要台積電代工啊14F 06/27 01:56
推 aegis43210: 只有AI推論強而已，沒什麼用，雲端運算廠商買H100只是順便用它的AI推論功能而已15F 06/27 01:57
推 siki588: 完了晶片需求不就…17F 06/27 02:00
→ chuanmaotou: GG how to lose18F 06/27 02:01
推 ohha0221: 八片可以取代160個GPU 那耗電量不就屌打NV了 猜未來這種專門客製化的AI晶片會是主流？19F 06/27 02:07
→ aegis43210: 未來老黃在R100上面放個ASIC，效果也差不多，只有AI推論功能效益太差21F 06/27 02:12
推 Everforest: 台積電客戶+123F 06/27 02:12
→ aegis43210: 老黃怕的只有掏金客一直掏不到黃金該怎麼辦24F 06/27 02:13
推 southes: 都要靠gg25F 06/27 02:14
→ shlee: 老黃搞通用都能搞到第一了 要針對特定方向客製化怎麼可能做不出來26F 06/27 02:17
推 a1237759: ASIC比GPU?要不要老黃放一顆ASIC再來比看看你贏不贏28F 06/27 02:19
推 w60904max: 下一個比特大陸
不過他很誠實說自己在賭 歡迎投資人一起賭29F 06/27 02:20
→ aimlikenoob: NVDA的優勢根本不只是硬體31F 06/27 02:26
推 shawnfu: 感覺就是來騙錢的，有demo影片可看嗎？還有這種新創公司如何搶到TSM產能也是問號。32F 06/27 02:27
推 FirePopcorn: 台積電噴噴噴34F 06/27 02:40
→ otaku690: 沒tape out就在吹?35F 06/27 02:44
推 Slzreo1726: 來了 跟超導體一樣的假利空來了36F 06/27 02:47
推 Raikknen: 蠻會吹的37F 06/27 02:56
推 g27834618: 華為的ai也崛起啊 屌打老黃38F 06/27 02:57
→ crazylunar: 真有這麼神？幾人團隊瞬間就彎道超車幾千個精英十幾年來的努力？39F 06/27 02:58
推 huabandd: 有這麼好超越就好了
華為既視感41F 06/27 02:58
推 TIPPK: 歷史上有出現過這種突然屌打的例子嗎43F 06/27 03:00
→ HenryLin123: 晶片我覺得是很難44F 06/27 03:15
推 wsx26997785: 哈佛不是都法律財經為主嗎45F 06/27 03:47
推 howhower: 針對語言模型設計的晶片有可能超車，趕上不是從無到有，而是站在巨人的肩膀上46F 06/27 03:55
推 Plumpy: 通用跟特規比較 先觀望48F 06/27 03:58
→ cccict: 輝達是用來不斷迭代參數已達到最佳化的運算，所以需要同時大量的運算跟多線程，這個看起來是用來跑已經成型的模型，單純吃input產出output，功能根本不一樣49F 06/27 04:35
推 lokimjuy: 很難吧 晶片牽涉的東西太多 很難超車大哥53F 06/27 04:41
推 lusan26: 新創公司想排台G，想的真美好54F 06/27 05:01
→ Sinkirou: 買英偉達的卡主要是為了玩遊戲，不是AI55F 06/27 05:09
推 hit1003: 文章是寫給中國人看的吧？56F 06/27 05:12
→ fedona …
噓 fedona: 用筆寫驅動程式57F 06/27 05:43
噓 pacino: 看來AMD,,Google,Meta都是笨蛋58F 06/27 06:04
→ Sunofgod: 創新從小公司小團體甚至個人遠比大公司容易多了阿不然微軟幹嘛砸大錢投資open AI而不是找人來內部自己搞 會講AMD G M都笨蛋的我想社會經驗還不夠多59F 06/27 06:17
推 jovi0001: 160個以上的世界還是NV屌打62F 06/27 06:20
推 q8977452: 如果你在台灣 我會覺得還好 但他們在美國 有機會吧.63F 06/27 06:21
→ schula: 美國輟學生是不是也會把字磨掉啊，西台灣教的嗎？64F 06/27 06:27
噓 simat: 給中國人看的文章+1，輝達裏面哈佛，mit的高材生不知有多少65F 06/27 06:28
推 q8977452: 不過還是離不開台積電呀...67F 06/27 06:28
推 syen: 幾年前電車夯 一堆概念電池出來圈錢 現在換AI68F 06/27 06:29
推 kyoiron: 硬體還有系統整合問題…沒那麼簡單…69F 06/27 06:31
推 zick8932511: 要找誰代工？70F 06/27 06:34
→ Alwen: 好無聊 之前groq也是鋪天蓋地的新聞 然後就沒然後惹71F 06/27 06:36
推 dodoning: GG: 下單請拿號碼牌，有錢包產線嗎？72F 06/27 06:42
→ elmer: 要當中國芯的救星嗎？中國融資的去處73F 06/27 06:43
→ tacoclement: ASIC，拿來特定運算本來就會贏GPU，前陣子也有CSP的ASIC這樣吹。不過這種標題和內容才有點閱率，騙不懂的74F 06/27 06:44
推 yytseng: 沒有NVlink你單顆快十倍都一樣垃圾77F 06/27 06:49
→ riotssky: 號稱超越的墳頭上的草...78F 06/27 06:57
推 GooglePixel: 簡單說 硬體再牛但沒有生態系 不夠方便用沒人用就是沒用79F 06/27 07:14
→ ILike58: 講都很會講，不信你問amd(指)。81F 06/27 07:21
推 YCL13: 個人開發者能否有可能避開現今各大廠的專利佈局？82F 06/27 07:27
推 zerro7: 為什麼聽起來就很唬爛83F 06/27 07:31
推 Phamalpha: …我還比較信AMD至少人家本業這一股濃濃圈錢味84F 06/27 07:35
→ ntuooo: 丸子85F 06/27 07:35
噓 powerkshs: 自慰文，AI版超導體ㄏ86F 06/27 07:39
→ zerro7: 而且文中Sohu是H100的8-10倍 你結語怎麼會寫GB20087F 06/27 07:42
噓 sxing6326: CUDA、NVLINK88F 06/27 07:42
→ zerro7: GB200比H100快了好幾倍 看起來Sohu頂多=GB200?89F 06/27 07:43
推 pieceioriX: 全文沒看到製程跟TSM就是垃圾文章90F 06/27 07:45
推 BruceChen227: AMD:91F 06/27 07:46
→ perlone: 文中都說這是任務特化型晶片了92F 06/27 07:50
→ ILike58: 反正台灣人最愛這種不明人士的神話，沒背景沒交代一出世就名震天下，完全沒想過別人是集多少人多少努力了十幾年的，難怪詐騙橫行。93F 06/27 07:53
推 go1717: 這根三星彎道超車 有異曲同工之妙XD
  跟96F 06/27 07:58
→ zerro7: GB200號稱是H100的4-10倍 怎麼圖中的比較差不多...這篇新聞真的越看越唬爛
感覺很像論文的比較法 專挑自己好的 別人爛的來比?98F 06/27 08:02
推 zip00000: 台積電4奈米？？ 你確定？101F 06/27 08:04
推 gino0717: 好 台積又要噴102F 06/27 08:06
→ paimin: 4nm 的研發成本0.12b 應該是連投片錢都沒有103F 06/27 08:07
推 patrol: 只能處理文字的話其實沒什麼fu糗
文組專業本來就不大值錢
有fu糗的是色色機器人104F 06/27 08:09
→ c928: 感覺是專利蟑螂107F 06/27 08:12
→ yiersan: 要是實際做不出來就好笑了 模擬誰會
誰都會108F 06/27 08:12
→ patrol: 產值極高，至少我會去買一台110F 06/27 08:13
→ yiersan: 趕快去中國圈錢 嘻嘻111F 06/27 08:14
→ benson502: 這是中國人才愛的神話，在台灣只會被酸112F 06/27 08:14
推 kinki999: 感覺在賣專利的113F 06/27 08:14
推 kichitai: 會不會又是台裔？114F 06/27 08:15
→ yiersan: 重點是能在台GG搶到產能嗎115F 06/27 08:16
推 Lipraxde: 帳面上拿紙筆算一算的算力吧？ASIC 你會做投下去做回來要多久，可能都還沒回到自己手上116F 06/27 08:16
推 dss1017: 最後還是要讓GG生產的啦118F 06/27 08:18
推 mopa: 跟大世紀的新聞一樣，編給同溫層聽的119F 06/27 08:22
推 LipaCat5566: 懂了 買世芯120F 06/27 08:25
→ jinhouse123: 喔 ~ 台積電又受益了。。121F 06/27 08:28
推 KeynesGG: 當NV幾十億美元研發費投假的122F 06/27 08:33
推 richaad: Inference,not training…
泥要繞過NVLink，自己搞一個出來，不可能。
ASIC比泥強的，一大堆，能搶到產能的，有幾個？123F 06/27 08:35
→ dickey2: 複製貼上要兩秒126F 06/27 08:40
噓 puffycat: 買得到HBM？127F 06/27 08:45
噓 deepdish: 哈哈哈 夢裡啥都有128F 06/27 08:49
推 sorcxnegi: 台GG：金子到處有，但你們還是得乖乖買我的鏟子：）129F 06/27 08:55
→ DTFS: 真AI吸金泡泡開始130F 06/27 09:02
推 leoloveivy: 陳天奇那家出來的可信度增加一下 這架構缺潘董投資 asic 的確可行131F 06/27 09:09
→ kotorichan: 推133F 06/27 09:17
推 eipduolc: 我只知道所有特斯拉殺手都死了134F 06/27 09:24
我特都被比亞迪打趴了...這篇只是想跟大家講...搶賣鏟子的人一堆...要注意
※ 編輯: newbrain (122.116.228.113 臺灣), 06/27/2024 09:32:52
→ Yui021: 打不贏就加入 不用這麼累135F 06/27 09:36
→ pooznn: Sohu 搜狐?! 如果是華人不可能不知道搜狐 中国資金?136F 06/27 09:38
推 payneblue: 我管他是不是真的 我只知道這家也找台積電生產晶片137F 06/27 09:41
推 hinanaitenco: 不就ai做成soc 跟gugpu比個屁啊 完全不同東西138F 06/27 09:53
推 Sonian: CUDA eco system 太完整了139F 06/27 10:19
推 WWIII: 崩崩140F 06/27 10:20
推 dvr: 先觀望 莫忘先前超導體141F 06/27 10:35
噓 FayeFaye1: 最好是這樣啦，晶片不管設計或製造都不存在從零開始能追上的142F 06/27 10:50
推 ariadne: 就特用型沒什麼不可能 先能跑新接龍 踩地雷再說144F 06/27 11:21
推 Vansace: 一樣都需要找台積電 GG才是最猛的145F 06/27 11:21
推 ariadne: 特用型就是除了做符合那電路設計的事 其他都做不了146F 06/27 11:23
噓 puppy20308: 以前炒作特斯拉殺手，現在炒輝達殺手？最後都是自己被殺的命運147F 06/27 11:23
推 handsomepig: 詐騙集團吧...149F 06/27 11:25
推 jeans520: 這根中國說自己很先進一樣,但文化變高不是一朝一夕150F 06/27 11:29
推 DustinFu: 這麼好追上當NV這一路走來都平步青雲的嗎151F 06/27 12:26
推 ChungLi5566: nv強在cuda生態 這花10年建立起來的牆壁152F 06/27 12:27
推 to1322: 這不就是彎道超車又贏了嗎? 好熟悉~153F 06/27 12:40
推 pipi5867: 看到asic就可以關掉了 根本不是同賽道154F 06/27 12:51
→ annboy: 這個只能inference 也是普普 training還是最大需求155F 06/27 13:14

--
作者 newbrain 的最新發文:
點此顯示更多發文記錄