作者
標題 Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？
時間 Sun May 18 03:23:59 2025
標題 Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？
時間 Sun May 18 03:23:59 2025
@@ 其實老黃的情況跟台積電有點像 單顆gpu快 蘇媽已經示範給你看過了
最大問題是整個node-to-node cluster-to-cluster 平行串連 也就是所謂的scale
一堆gpu連起來時候 一堆問題就會出現 LLM inferece端都要拆解不同
cluster-to-cluster運算 LLM一個回答問題還拆解prefill和generation兩個不同cluster
( https://blog.csdn.net/qq_32204441/article/details/139483688 )
打造高性能大模型推理平台之Prefill、Decode分离系列（一）：微软新作SplitWise，通过将PD分离提高GPU的利用率哆啦不是梦-CSDN博客 文章浏览阅读2.5w次，点赞45次，收藏86次。由上图可以看到Prefill和Decode时延都会随着token的数量增多而增多，而（c）更可以看出在E2E（end-to-end）的时延中，TTFT（Prefill阶段）时延仅占一小部分，尤其在Conversation中可以看到，只产生129个tok ...
這種就是考驗整個data center軟硬大結合 老黃整個社群 使用者都一起幫他debug
你可以看LLAMA2 報告說道 h100在萬顆結合時 各種bug
meta infra team後來都優化解決掉 那些bug都是會回饋給NVDA 像是溫度多少 幾顆以上
會以一起崩 如何用分配computation pressure loading 傳輸速度怎樣優化避免崩等等
會以一起崩 如何用分配computation pressure loading 傳輸速度怎樣優化避免崩等等
這塊就是AI Infra 在業界Infra是個大工作崗位 現在AI Infra都是基於NVDA規格
去優化 像是Linkedin自家再推Liger Kernel AI Infra
https://github.com/linkedin/Liger-Kernel
GitHub - linkedin/Liger-Kernel: Efficient Triton Kernels for LLM Training
![[圖]]()
Efficient Triton Kernels for LLM Training. Contribute to linkedin/Liger-Kernel development by creating an account on GitHub. ...
OpenAI Triton也是AI Infra 優化 Stanford課程甚至都用Triton (Cuda框架)
https://stanford-cs336.github.io/spring2024/ (assignment 2)
馬上貢獻大學生免費debug ai infra仔給老黃
(偵測bug貢獻 大概都會像是這種
https://github.com/NVIDIA/cuda-samples/issues )
GitHub · Where software is built
![[圖]]()
Samples for CUDA Developers which demonstrates features in CUDA Toolkit - NVIDIA/cuda-samples ...
https://github.com/ROCm/ROCm/issues @@ 一堆under investigation....
GitHub · Where software is built
![[圖]]()
AMD ROCm™ Software - GitHub Home. Contribute to ROCm/ROCm development by creating an account on GitHub. ...
當你一堆萬人陪你練功 這玩意就是護城河 你看i皇/*** 為啥追不上台積 就是有客戶
陪他練功 @@ AI infra也是 比單顆快 誰都可以 比到data center成面 就很難
連DeepSeek自己的 低成本訓練框架 也是基於cuda底層重寫的AI infra
現在在搶用戶黏度下 同樣模型 晚點推出 就失去市場 @@ 整個生態全幫你收集各種bug
你叫其他廠怎樣打 唯一的可能對手就是對岸 所以老黃賣低階晶片才能鎖對岸
總結 算力晶片不在於單科 而是整個大系統 長時間效能 這需要大量社群幫忙debug
老黃的護城河就是從2012 AlexNet開始的護城河 或者更早可追朔到2006....
現在高中生都在寫AI Infra/算法 @@ 你諸位不害怕嗎 漫畫世界高中可以打贏成人世界
在AI界已經成真了 不限年齡大混戰 小學生都可以參賽了......
※ 引述《Shiva (Shiva)》之銘言：
: 挑戰者不少吧，也不是最近才出現
: 大公司組AI大聯盟：
: Meta、IBM 發起 AI 大聯盟，Intel、AMD 等 50 個企業組織也共襄盛舉
: https://tinyurl.com/yjmn4pyp
: 將開發人工智慧評估標準與相關工具資源，藉此協助更好的人工智慧系統開發。
: 一起建立新標準，直接訂標準給大家follow，超給力有夠生猛
: 要贏Nvidia大概沒那麼快，但是陣仗也不小了
: 也有宣稱打趴Nvidia的小公司：
: 出現勁敵了！加州新創公司開發新晶片 比輝達快20倍
: https://tinyurl.com/pkpswsh9
: 速度比輝達GPU快20倍，連超微和英特爾也望塵莫及
: Cerebras速度超快，科技業要的不就是這個？
: Nvidia AMD intel有壓力嗎？
: 黃仁勳反抗軍來了！藏身竹科、內湖小廠，晶片效能比輝達強2倍
: https://tinyurl.com/2vundffn
: 創鑫「反黃仁勳」的台灣戰隊
: 直接組戰隊反黃仁勳，應該在這領導下台灣隊殺爆Nvidia了吧？
: 台灣小粉綠藍白黃一起喊殺聲衝衝衝，頭也不回直接碾過去了吧？
: 新秀創鑫智慧，它憑什麼能在「高能效」打敗 NVIDIA
: https://tinyurl.com/z2u7vcdr
: 打敗輝達（NVIDIA），成為世界第一能效的 AI 加速平台
: 能效世界第一！電力有限產能有限，世界各廠還不跪著求晶片嗎？
: CUDA生態系統是不是有危機了？
: ※ 引述《nissan168 (pingGO)》之銘言：
: : 我是看完黃仁勳的自傳，再扒了文章後。才知道黃仁勳在2007年就佈局Cuda的平台，現在
: : 是軟體、硬體都形成生態鏈，才會讓Nvidia變成AI時代的發動引擎。
: : Intel、AMD、蘋果、谷歌、微軟、亞馬遜、臉書、特斯拉...這些大公司，怎麼可能接受
: : 一家獨大！
: : 他們有再開發一套公開的平台，來進行反向傳播演算法嗎？
: : 現在的AI都是建立在辛頓演算法的基礎上。
: : 每年要花幾百億美元給Nvidia？
: : 未來都這樣？
: : 都沒有公開的平台規則，讓所有人都可以用嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 作者: LDPC 2025-05-18 03:23:59
※ 文章代碼(AID): #1eAE9L0m (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1747509845.A.030.html
※ 同主題文章:
05-16 21:39
05-17 08:10
05-17 20:52
Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？
05-18 03:23
噓 : 樓下色情小學生1F 05/18 03:39
推 : 生態系才是護城河。2F 05/18 03:47
推 : 難怪美國禁止有人替華為練功（用華為產品）！3F 05/18 03:59
噓 : 很好 很強大4F 05/18 04:02
推 : 你各位加油，股東靠你們了
羅馬不是ㄧ天造成的，那些說要自研或什麼的保重吧，要AI唯有nvidia ，其它繼續騙，專業的交給專業，互相配合各自善常的領域5F 05/18 04:40
羅馬不是ㄧ天造成的，那些說要自研或什麼的保重吧，要AI唯有nvidia ，其它繼續騙，專業的交給專業，互相配合各自善常的領域5F 05/18 04:40
→ : linkedin 不就許秉倫那個 之前到處演講9F 05/18 05:39
※ 編輯: LDPC (76.21.72.78 美國), 05/18/2025 06:55:22推 : 高中生欸，不準備升學考試？10F 05/18 07:17
→ : 是要害怕什麼==自己嚇自己11F 05/18 07:18
推 : 謝謝12F 05/18 07:59
→ : 真的 台積當初也是主打跟客戶一起成長@@13F 05/18 08:54
→ : 朋友小孩幼稚園就在學語言coding了 你怕不喔14F 05/18 09:44
→ : 2008 當初在學校免費用nv gpu + cuda 就是幫忙debug ….15F 05/18 10:41
→ : 幼稚園學coding，先幫眼球默哀17F 05/18 11:27
推 : 看來還是用EUV 卡華為18F 05/18 11:56
推 : 應該說使用AI工具的高中生普通人有機會贏過專家學者19F 05/18 11:58
推 : 用空格當逗號的人大談算法有種莫名喜感20F 05/18 12:08
→ : 9X 的NVDA撿的好香 150再倒給韭菜 下一波突破大概是機器人吧 110以下買 140以上賣 作波段21F 05/18 12:12
推 : Ok All in NV 讓他們瞧瞧大人的魔法23F 05/18 14:46
推 : 強翻了24F 05/18 17:29
推 : GOGO TSMC GOGO NVDA25F 05/18 19:52
推 :26F 05/18 21:03
推 : 保護的很好 gogo27F 05/18 22:47
推 : NVDA這方面真的很狂28F 05/19 00:28
--