看板 Stock作者 jacknavarra (阿姆羅)標題 [新聞] GPU泡沫要破了？H100租賃價格崩跌至每小時間 Thu Oct 17 10:09:25 2024
原文標題：
GPU泡沫要破了？H100租賃價格崩跌至每小時2美元 專家：投資者宜分散投資
原文連結：
https://news.cnyes.com/news/id/5743500
發布時間：
鉅亨網許家華 綜合外電 2024-10-16 11:24
記者署名：
鉅亨網許家華
原文內容：
根據紅杉資本的最新報告，AI 產業的年產值已超過 6000 億美元，足以支撐數據中心及
加速 GPU 卡等 AI 基礎設施的開支。隨著基於 A100 GPU 系列的 GPT-3.5 與 ChatGPT
的推出，AI 競賽自 2022 年 11 月 30 日以來迅速升溫，市場對高效能 GPU 的需求激增
。
然而，基礎模型訓練的資本支出被廣泛認為是 「歷史上貶值最快的資產」，而關於 GPU
基礎設施支出的評估尚未明確，市場競爭依然激烈。
以 OpenAI 為首的大型模型公司，其訓練與推理支出已超過收入。OpenAI 最近在有史以
來最大的風險投資輪中籌集了 66 億美元，並預計到 2026 年將面臨高達 140 億美元的
虧損。與此同時，輝達的新一代 Blackwell 系列晶片已交付給 OpenAI，並表示未來一年
的產品已售罄，輝達 (NVDA-US) 執行長黃仁勳稱這可能是行業歷史上最成功的產品之一
。
在 AI 基礎設施層面，數十億美元的投資究竟是促進行業繁榮還是形成泡沫，成為市場熱
議的話題。
OneFlow 市場分析師 Eugene Cheah 深入研究了 H100 SXM GPU 的投資回報率（ROI），
指出由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少，市場上的
H100 算力已經供過於求。H100 的租賃價格從去年的每小時 8 美元降至如今的低於 2 美
元，顯示出市場的劇烈波動。
Cheah 建議用戶在需要時租用算力，而不是進行高額購買。對於按需租賃的 ROI，當租賃
價格在 2.85 美元 / 小時以上時，投資者的內部收益率（IRR）仍可保持在合理範圍內。
然而，若價格降至 1.65 美元 / 小時以下，則作為基礎設施提供商的虧損風險將大幅上
升。
在長期租賃方面，許多基礎設施提供商曾在高峰期以每小時 4 美元的價格簽訂合同，如
今卻面臨市場價格的急劇下跌。隨著開放權重模型的興起，企業逐漸轉向微調現有模型而
非從零開始訓練，這一轉變進一步減少了對 H100 的需求。
當前 H100 的價值鏈清晰可見，從硬體供應商到數據中心基礎設施提供商，再到風險投資
基金和算力轉售商，各個環節相互交織，形成了複雜的市場生態。市場的變化引發了對未
來 AI 基礎設施投資的深思，Cheah 警告稱，當前的 H100 硬體支出可能會導致虧損，投
資者應考慮將資金分散到其他領域或股票市場，以獲取更好的回報。
當前 GPU 市場的劇烈波動預示著 AI 基礎設施投資的複雜性，投資者需謹慎評估風險與
機會，以應對未來可能出現的市場挑戰。隨著市場趨勢的變化，如何在這個充滿不確定性
的環境中做出明智的投資決策，將成為未來的重要課題。
歸納 H100 租賃價格大跌 (降至 2 美元 / 小時) 之主要因素：
1. 供需失衡：
隨著 AI 技術的快速發展，對高效能 GPU 的需求在 2022 年和 2023 年達到高峰，尤其
是在大型模型的訓練和推理上。然而，隨著市場逐漸飽和，供應商開始面臨供過於求的情
況，導致價格下滑。
2. 競爭加劇：
市場上有越來越多的公司進入 GPU 租賃市場，尤其是一些小型和中型企業，它們提供更
具競爭力的價格和服務，進一步壓低了租賃價格。
開放模型的興起：
開放權重模型的出現使得企業能夠使用現有的模型進行微調，而不必從頭開始訓練，這降
低了對新硬體的需求，進一步影響了 H100 的租賃需求。
投資回報率下降：
H100 SXM GPU 的投資回報率（ROI）受到市場價格波動的影響，當租賃價格降至某一水平
以下，投資者將無法獲得合理的回報，進而選擇減少租賃或購買。
3. 技術更新與替代品：
隨著輝達推出新一代的 Blackwell 系列晶片，市場對 H100 的需求可能會受到影響，因
為新技術可能提供更好的性能和成本效益。
4. 經濟環境影響：
全球經濟環境的不確定性，包括通貨膨脹和利率上升，導致企業在資本支出上更加謹慎，
從而減少了對高價 GPU 的需求。
這些因素共同推動 H100 租賃價格從去年的每小時 8 美元驟降至如今的 2 美元，顯示出
市場的劇烈波動與不穩定性。
心得/評論：
※必需填寫滿30正體中文字，無意義者板規處分
昨天這篇新聞包含自由財經也引述報導了, 但看板上還沒出現這篇新聞
透過租賃市場的供需看待GPU算力是否過剩蠻有意思的
其中分析的第三點, 因為新一代 Blackwell 系列晶片開始投入市場
所以是導致H100的租賃價格下跌到 2 美元/小時 的主要原因嗎?!
抑或是真的市場算力過剩了???
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.145.14 (臺灣)
※ 作者: jacknavarra 2024-10-17 10:09:25
※ 文章代碼(AID): #1d477NTY (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729130967.A.762.html
推 h75221: 來嘍 鬼故事嗎1F 10/17 10:10
→ Heyer: 大家都自己買 誰還要租2F 10/17 10:11
→ ter2788: 中國那邊早就殺了 也沒繃阿5F 10/17 10:11
推 goodevening: 不是很正常？？現在就沒殺手級運用阿 科技巨頭都是怕FOMO 等未來吧6F 10/17 10:11
推 etset: 不是早就講了 買越多省越多
算力要貶值幾萬倍 AI才會普及8F 10/17 10:11
推 Adrian: 等到可人人自產a片再來煩惱算力過剩10F 10/17 10:14
→ gprs910: 好 你害怕 我先買11F 10/17 10:14
推 onekoni: 鬼故事來囉 又要騙散戶廖廖的地方12F 10/17 10:15
→ knives: GB200都要出來了，誰還要用舊的14F 10/17 10:15
→ onekoni: NV回90記得歐印15F 10/17 10:15
→ moom50302: 這種都是直接買來長期投資AI領域的，誰在租……16F 10/17 10:16
推 tmdl: 大陸一堆17F 10/17 10:16
→ ahwung: 如果租很便宜，那也是一個選擇18F 10/17 10:17
推 QooSnow: 「雞蛋架！」「一級棒！」19F 10/17 10:18
→ tctv2002: 可以租GB200 幹嘛還要租H100？20F 10/17 10:18
推 hn022: 舊的沒人想要21F 10/17 10:18
推 spa41260: 電子產品就是這樣，舊的很快被淘汰，新的又越賣越便宜23F 10/17 10:19
→ piece1: 沒人要剩下的.....27F 10/17 10:20
推 AndyMAX: Overbooking！AI is over！28F 10/17 10:20
推 strlen: 算力過剩XD好喔29F 10/17 10:21
→ ActionII: 為啥不租？巨頭自用租人兩相宜啊31F 10/17 10:22
→ Lowpapa: 幹 這真的超級鬼故事34F 10/17 10:23
推 spa41260: 2022上演過一次了，顯卡庫存過剩35F 10/17 10:23
推 TameFoxx: H200都出了 H100當然降價37F 10/17 10:24
推 pponywong: 說個笑話 最早的電腦ENIAC 造價數百萬美元
現在買PC 台幣3萬 PC市場要崩了38F 10/17 10:24
→ TameFoxx: 而且這種租法不會讓你一次只租幾小時
新品出來買一百萬 出租可能2年就會本40F 10/17 10:24
推 y800122155: 這叫算力通膨 NV每年2倍2倍的提高新產品算力 你舊產品當然只會一直崩 但如果不想被超車 每年都要買GPU42F 10/17 10:26
→ tomdavis: GB200都要出來了 H100運算效率被屌打45F 10/17 10:29
推 josephpu: 老黃越出越強，有的選誰要租h100...46F 10/17 10:29
→ y800122155: NV目標是十年提升一百萬倍算力 等於舊產品用兩年就會變成佔空間的垃圾47F 10/17 10:30
推 Lhmstu: 但是其實很多小型的AI應用很需要這種相對便宜且夠用的算力51F 10/17 10:32
→ jc761128: 手機一隻百萬 誰能接你電話XD53F 10/17 10:32
推 breathair: 這…這不就是NV不敗的原理嗎？算力一
直提升，算力成本一直下降。拿債券比喻
舊債券發5%利息，新債券發10%，舊債
券淨值不是就貶到爛了，還有電費的問題
簡直沒人要了54F 10/17 10:32
→ Aerogel: 詐團應該會低價掃貨吧！59F 10/17 10:33
推 h0103661: 對高端是垃圾，不代表其他人不用啊，降價就是為了吸引低價市場。61F 10/17 10:34
推 julian42: gb2000明明還沒出 你有看到iphone16還沒出15先降嗎63F 10/17 10:38
推 breathair: 不管用租的，還是買的，量大便宜，最新64F 10/17 10:39
→ breathair: 的最便宜，所以舊的，貴的，一定重貶
新的，便宜的，一定搶破頭，道理就是這
麼個道理66F 10/17 10:39
推 spa41260: nv沒有不敗，之前就是這樣差點完蛋，幸好有好幾次運氣好被救活71F 10/17 10:40
推 y800122155: 我指的垃圾是以 算力/單位價格 來看，不管高低端需求，越新的產品CP值也是每年2倍2倍在提高，就算低端需求，誰不想用CP值高的？ 這就老黃說的買越多省越多，你一直用舊產品，就是越用越盤罷了73F 10/17 10:40
推 haworz: 幹你媽的顯卡要降價這句話從疫情前就一直講到現在老黃還是加價賣啊77F 10/17 10:41
推 shorty5566: 前幾個禮拜才在喊崩 現在漲上來又喊崩 被打臉不膩嗎79F 10/17 10:41
→ breathair: 你把算力換算成賺錢的能力，或是技術力
越新的越強，單位成本越便宜，你有什麼
道理要用舊的？舊的崩越快，代表新的
越強，這千萬不能解讀錯了80F 10/17 10:42
→ haworz: 以前是先買先享受，後買享折扣，現在是越晚買越貴。84F 10/17 10:42
推 spa41260: 之前一段時間靠比特幣挖礦苟延殘喘，2022庫存過剩時也快完蛋，幸好後來有ChapGpt把它救活86F 10/17 10:43
→ GN02209611: 看晚上華西街殺不殺才能知道他們對AI的新態度88F 10/17 10:43
噓 maplefff: 大哥現在都H200, 要換代B200了
你這樣跟用iPhone 13價格說iPhone 16
滯銷有什麼不一樣90F 10/17 10:44
→ shorty5566: 只要算力有需求NV就不可能完蛋
NV酸很急 大概因為沒買到NV93F 10/17 10:45
推 OhtaniHR: over booking2.095F 10/17 10:46
噓 inoce: 緯創崩96F 10/17 10:47
推 clecer: 一堆需求只需要推論而已，LLM才需要用最新最強大晶片做訓練，看來GPU崩盤時間快了97F 10/17 10:47
推 Brioni: Overbooking 最快也要明年下半年，還有得炒100F 10/17 10:48
推 y800122155: 推論也是看CP值啊，最新產品不管訓練推論都是CP值最高的，除非你舊產品可以每年跌超過1/2101F 10/17 10:50
→ xeins: 訊號來了 in104F 10/17 10:51
→ LDPC: =_=.....算力永遠不嫌多啊 都講了n次了106F 10/17 10:54
推 HisVol: 終端需求不夠，沒商機，算力不就過剩了，難道賺不到錢也要為了算而算？107F 10/17 10:56
推 CADDEE: 真假 算力過剩了嗎110F 10/17 10:57
→ LDPC: 終端需求也有企業需求 去看資料中心那些資料就知道你這論點就跟回到1990說記憶體10M就夠用 cpu也是111F 10/17 10:58
→ LDPC: 亞麻現在所有消費資料都已經用genAI+RAG去做了114F 10/17 10:59
推 breathair: 算力過剩了啊，iPhone 9沒人要了，垃圾115F 10/17 10:59
→ LDPC: 你們消費者 大概也不知道後面搜尋機制已經變了116F 10/17 10:59
→ lmc66: 別怕 至少我們還有夢117F 10/17 10:59
推 sussj: 完了，要泡沫了，快逃啊118F 10/17 11:00
→ LDPC: 狗家現在所有下游服務客戶全部都換成gemini
你大概也不知道你用的服務已經用更高階genAI119F 10/17 11:00
推 andy76222: 就像新一代手機出來，上一代降價不是很正常？這樣就泡沫？121F 10/17 11:01
推 sdbb: 99GOOG123F 10/17 11:01
推 gk1329: 你我500124F 10/17 11:03
推 imba789: 買舊產品的變成冤大頭127F 10/17 11:05
推 xx890197: 真正的供不應求應該是跟2017年挖礦市場一樣，連二手顯卡都在加價賣，現在去年算力貶值成這樣，還這麼供不應求嗎？129F 10/17 11:07
推 DevenW: AI的問題是，當一個夠好用的AI被訓練出來，還需要一堆人提供服務嗎132F 10/17 11:08
推 Samurai: AI正在極速發展，搞不清楚狀況的人還很多，現在萬事具備只等LLM成熟，終端消費市場就會爆發134F 10/17 11:10
推 iWatch2: 這家還真多割韭騙票新聞 推個137F 10/17 11:16
推 y800122155: 現在沒有瘋搶H100 那是因為GG CoWoS先替你瘋狂增產了啊138F 10/17 11:27
推 ten9di9: 都用買的，誰要租140F 10/17 11:31
噓 s1612316: 沒有終端消費需求 舊的直接變垃圾 泡泡真的要來了手機有人會用舊的 AI競賽有人用舊的?XD141F 10/17 11:34
→ amaqua: 晶片版的蒜粒過剩...143F 10/17 11:44
推 chysh: 反正H100終究停產，現在只是在壓榨殘值，而且因為對中國的晶片禁令，中國沒門路拿到晶片的廠就只能租算力146F 10/17 12:01
推 Latte7: 還蠻好笑的推論150F 10/17 12:07
推 Litfal: 2鎂小時好像不貴欸，用一張25k鎂來算可以跑520天還不用電費欸151F 10/17 12:21
推 mc2834: 是機房效率的問題好嗎？跟算力過剩無關…153F 10/17 12:23
推 shinnim: 87新iPhone 出來舊的不會降價嗎==154F 10/17 12:32
推 aaaaaaaa9: iPhone 4價值崩盤，原本3萬多台幣，如今1000元都沒人買，蘋果信仰不再？155F 10/17 12:37
推 brad001: 想騙我股票 門都沒有157F 10/17 12:48
推 prtscscroll: 每季都能炒一次的話題 等你砍掉股票後 AI投資無法變現又不是問題了158F 10/17 12:54
推 stlinman: 早些用H100的早就回本了吧! 以後賣掉還有殘值，賺爛了吧! 難怪老黃敢說買越多省越多。160F 10/17 12:56
推 oxlittle: 大公司不會把資料拿去雲端算吧162F 10/17 13:06
推 alphish: 鬼故事一職來 到底法說之後會噴到哪裡去~期待164F 10/17 13:23
推 aresa: 去年8元一小時，241天就回本了，你跟我說賠錢167F 10/17 15:17
--