回看板
Disp BBS
看板 Stock
作者 LDPC (Channel Coding)
標題 Re: [心得] AI需求是供應商精心設計好的套路
時間 Sun Mar 22 02:43:38 2026

大大 你這樣講不太對啊 記憶體和算力是等價互換
拿個簡單說 在訓練端你永遠可以用gradient accumulation 來降低記憶體
訓練無法一次跑四個樣本 那就一個個樣本跑 記憶體需求降四倍
(算力->記憶體) 這就是你下面舉例子

在inference端也是有 記憶體和算力等價互換 KV Cache -> Token
概念就是事先把已經算過東西存好 不用在算一次

甚至智能也可以用算力->時間互換(Latency)
LLM現在很多不強求一步解 會採用類似思考鏈 一步步拆解問題 然後驗證
( 對比人類心算一次算 跟慢慢手動算)

那你上面兩個概念迭在一起 少了第三個參數 "速度" 也就是Latency

這也是為何LLM這類模型在Inferece端 有一個指標叫做token/sec
簡單說就是 你硬體用低階跑 但使用算力記憶體互換 降低硬體需求
你付出的就是速度 token/sec 原本一秒100 token 給妳這樣一搞 一秒5 token
系統慢 在消費端 就是世界末日 不過這邊的人喜歡用throughput這個字眼
來橫量硬體在這方面表現

這也是為何 有些人覺可以SSD+CPU 來解鎖3090這類低VRAM GPU 但卻可跑100B模型
比方 因為你可以用花時間 分切100B模型參數 迭代是部分放入3090 然後每次計算
再放回SSD + CPU 整合 (基本上就是群聯aiDAPTIV 套路)

這個就是鐵三角(算力 記憶體 速度) 上面犧牲掉的速度 看看精美的aiDAPTIV銷售量

在消費端 速度慢 就是垃圾 這也是為何 蘇媽的核心概念就是高速計算
你可以看到蘇媽的佈局就是速度-> 硬體 -> 速度/成本 幹死妳們
不論是大AI前時代 (遊戲時代) 中期個人電腦 或者現在AI時代 蘇媽核心概念簡單 "快"
這造就整家公司企業沒有pivot (開會最怕聽這個關鍵字）公司整體策略佈局很合理
小公司打死大公司 最重要就是簡單 但方向能長久一直執行下去

然後現在軟體優化 基本上可以叫AI去搞 當初CUDA這些護城河 有可能被x1000打破
蘇媽一定有想過 用AI軟體優化他自家RFCOM 增加迭代速度追上CUDA
畢竟現在我司自身看過工程師+AI Agent 單日產出x1000 我就覺我這輩子就這樣了(*1)
人類學常常用自家ai優化自己軟體 左腳踩右腳 迭代速度快

所以算力小隊 我就賭這兩家 高品質硬體+自家生態系

在衡量ai算力 就是 (記憶體 算力 Latency) 等價三角 /單位電力

然後人類就是那個分母 電池

--
*1 最近在我司又被震撼到一次 有一次我把模型訓練完 強者工程師deploy完
但前端要變動很多才能接 然後前端就踢皮球說 要我們證明模型效能 巴巴拉拉啊好處
他才要去動 通常在以前公司 會兩個部門主管出來打架 蓋章 然後決定是我們這邊遷就
他們 還是他們照我們路線 這種情形在大廠 通常是tech lead會花一個禮拜打架決定

結果強者工程師x1000 兩個小時就把前端寫完 寫個demo 還寫了一個工具去把所有
過去使用這數據爬蟲出來整理 套用在我們場景(數據爬蟲 這個等於是另外一個人工作)
模擬使用者expereicnce
然後證明我們這種模型搭配場景效果 直接用證據說話 然後前端工程師馬上
嚇得說他會去做 因為他意識到 他的飯碗跟scope瞬間被強者工程師搶走 再多說一句
只會讓人覺他的能力不行

在那剎那我突然意識到 以前大廠互相鬼扯打架的 誰遷就誰 要證明哪個系統好
在新創搭配ai agent情況下 這些都沒意義 一切就是比誰能把系統實作出來 用結果說話
以後就是這樣 連跨部門吵架 都不用tech lead 直接實作系統硬幹對方
當一個人x1000 就是可以單純暴力胖揍同事


※ 引述《teddy98 (泰迪!走吧!)》之銘言：
: 我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！
: 剛踏入AI的人
: 可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)，
: 好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。
: 所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺，
: 但用久了開始熟悉AI之後，你會發現，
: 其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路
: 也是一種吹捧、誇大其辭的行銷手段。
: 為甚麼會這樣講？
: 第一，AI模型的節點不一定有經過優化（化繁為簡）
: 拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化，
: 如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。
: 會佔用大量的 GPU VRAM 和運算週期。
: 這時，你怪的不是AI模型爛，而是AI算力不夠？
: 第二，AI模型的運算流程可以分批次進行
: 一個步驟，可以切成4個子步驟進行，用For循環4次執行
: 如生成式繪圖，如果一張解析度非常大的圖像，
: 切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組，
: 將4個處理好的圖像做合併
: ＂可以大幅減少AI在運算時VRAM的占用量。＂
: 這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。
: 因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。
: 前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格，
: 現在回想，果真是中了NVIDIA的市場行銷套路。
: 因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有，
: 如: RTX 3090, RTX 4090, RTX 5090
: 現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。
: 因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。
: 實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。
: 也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。
: 目前生成式AI的發展非常快，模型也漸趨成熟了，
: 只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。
: 而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。
: 占用的GPU資源也明顯下降。
: 大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。
: 不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。
: 現在那些號稱＂專家＂或＂分析師＂的傢伙
: 對於AI的硬體需求越開越高，到達浮濫的地步，
: 會有這種現象，很大程度上是供應商（輝達）精心設下的套路。
: 也是為了喊多股市的一種噱頭。
: 不過，很少用Photoshop是真的，AI模型很大程度上解決以往在影像修復上的難題。
: 圖片經過AI重新生成，容量也變小了
: （原圖722KB，修復後268KB，減少將近63%。) 計算: (722-268)/268*100%=62.88%
: 試問各位的看法呢？怎麼看未來AI的硬體供貨需求？
: 記憶體族群的雜音最多，有人喊AI供貨短缺上看2030年
: 但Samsung開始跟客戶簽長約，有人說可能離市場飽和不遠了
: 以目前的記憶體類股的股價來看，是看多還是看空呢？
: ----
: 書脊，修復前
: https://ibb.co/1tzg824g
: 書脊，修復後
: https://ibb.co/zWRrPqjr
: AI生成 - 虎兔狗
: https://ibb.co/8n8MF5Kr
: https://ibb.co/5hwkq4ZB
: https://ibb.co/nN83j1XD

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 作者: LDPC 2026-03-22 02:43:38
※ 文章代碼(AID): #1flkRSFI (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774118620.A.3D2.html
※ 同主題文章:
Re: [心得] AI需求是供應商精心設計好的套路
03-22 02:43 LDPC
Re: [心得] AI需求是供應商精心設計好的套路
03-22 03:14 ricky525
Re: [心得] AI需求是供應商精心設計好的套路
03-22 03:31 dsrte
※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 02:46:18
推 a0808996: 好日子要到頭了!!! 再繼續飛升就要回家吃自己1F 03/22 02:46
推 duriamon: 台灣就是代工思維不長進才一狗票人對AI的發展當井底蛙，笑死！2F 03/22 02:54
→ newwu: 原文很明顯沒有很懂4F 03/22 02:55
推 soome: 人類還能再上幾年班不被取代QQ5F 03/22 02:57
→ duriamon: 當一個東西疊代速度是按月算得，就該知道這東西絕對不是用以前的概念去套，呵呵！6F 03/22 02:57
※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 03:13:15
推 QQMMWA: 不上班是好事 怎麼被某樓說成了壞事一樣
如果人類真的沒班可上
代表人類科技力和上帝一樣
已經有創造智慧體的能力了 該開心
反而是現在的ai 離取代人類還遠的很
人類真的能創造agi
癌症 等各種疾病早就被攻克了
各種疾病都準備被攻克
ai搞到所有人類都沒班可上的程度
那人類才會幸福8F 03/22 03:45
推 ChikanDesu: 原文就自以為發現新大陸 實際上前提根本錯 又覺得大廠是低能 花幾兆的人決策會比他差？18F 03/22 04:22
推 sdbb: 謝謝20F 03/22 04:45
→ layer0930: 你覺得工作很快的原因是因為
目前ai解決簡單的問題 很快
實際上複雜的問題還是會拉的很久，且出錯問題很大另外 目前ai 不是單純因為有了 cache 就能解幻覺跟 速度，
爬蟲跟一些畫面的撰寫 如果不要求設計風格 。靠ai快速幫忙 當然ok21F 03/22 06:45
推 jack529: 新創本就是跟時間對決，還那邊提皮球被取代剛好==28F 03/22 07:34
推 rereterry: 就…對技術一知半解的人很喜歡跳出來說話，本來就沒有什麼都好，原本那篇就有人留言，那種說法根本當7巨頭工程師都是白癡29F 03/22 08:20
→ layer0930: 原本那篇不能說他全錯，因為模型的迭代跟優化的確可以省效能 。
另外如果把模型專業化 而不去用通用模型 硬體效能可以更下去
所以才會出一大堆的模型 來解各種問題，而不是通用模型全解
現在ai好比當年 windows 95,但離到目前os 還差很遠32F 03/22 08:25
推 kurenaiz: 人類離當電池不遠了39F 03/22 08:28
→ layer0930: 但如果用專業的模型可能還是有缺少的功能
所以會在訓練
或是可能從通用模型在提煉這樣
另外資安跟模型更新都是問題
Ssr 的架構混合制，目前仍無法突破物理障礙
Ai是一個賠錢貨
韓國有遊戲公司嘗試在做跟我類似的事情，但是他們也停工了40F 03/22 08:29
→ rxsmalllove: 先擔心五年後回家會不會吃自己48F 03/22 08:42
推 jerrychuang: 哇，那兩家？49F 03/22 08:43
推 mdkn35: 潘董不要再推aiDAPTIV了 都沒人再訓練了50F 03/22 08:52
→ SILee: 我覺得你提到了很重要的一件事，再這樣發展下去，連CUDA的生態系都不會再是非要不可的護城河了
反正叫AI自己重建和驗證那些lib，也不用幾天。51F 03/22 09:03
推 VScode: 太狂惹，好日子要來了54F 03/22 09:16
→ layer0930: Ai 的驗證跟人類（需求端）不一定一樣
因為語意這件事很模糊55F 03/22 09:22
推 poeoe: 現在AI進步就是這麼快 碼農的衝擊會很大
只能買好買滿AI股 才能降低自身風險57F 03/22 09:24
推 Nitricacid: 現在真的與其灰半天不如自己來比較快...以前專職嘴砲的反而比較危險59F 03/22 09:27
推 strlen: 這是真的 最近就遇到也是合作對象前端在那邊番 好啊你要番是吧？那我來做 大概一個半小時就做完了
跟前端說你不用忙了我弄好了 他整個無言 業主感覺也懂了什麼 啊反正也不是我寫 都codex和cc在寫
其實工程師真的可以砍掉七八成 沒問題了61F 03/22 09:36
推 devilsabre: 推66F 03/22 09:42
推 VScode: 前端真的是最快被取代的，後端至少還有領域知識
當護城河67F 03/22 09:47
→ strlen: 沒有什麼護城河了 不幹活自會有AI收 懶人通通下去連開AI出來寫都懶 你還是乖乖當電池69F 03/22 09:57
推 create8: 我準備回鄉下種田了 QQ 幹71F 03/22 10:02
推 aspirev3: 算力小隊 2330+goog嗎72F 03/22 10:30
推 coke7: 阿彌陀佛  幸好我不是碼農73F 03/22 10:33
推 hellomo: 推分享74F 03/22 11:36
推 cphe: 碼農真的是最危險的，尤其純軟75F 03/22 11:44
推 Dreamjonbe: 文組看不懂QQ76F 03/22 11:44
→ emind: 什麼模型效能要前端改變才能證明？77F 03/22 12:19
推 zaqimon: AI什麼時候能直接幫我的銀行帳戶x1000
我只需要銀行帳戶x1000這個簡單的功能就好
其他的功能我都不需要78F 03/22 12:30
推 darkangel119: 直接說明用實力取代對手的能力81F 03/22 12:33
→ bndan: X1000 還要2小時 代表原本要2000小時 而且是強者同事..假設強者工時是一般人2.5倍就好 你這個X1000號稱成立的意思就是原本的需要要一般工程師5000小時才能完成 以台灣工時計算也就是 625個工作天的需求 ==這還是計算全工時都在努力完成這需求..= =
X1000這種"號稱" 真能成真 那AI工時效率公式早換了那時應該也不需要強者同事當算式基底了..
目前市面上的 不敢說AI巔鋒應用 但常態標準線拉在x4~x5 其實就差不多"一般"寫程式能加速的範圍了 扣除掉人的問題 還要再上去需要配合調整各種對應的流程用工業革命來比喻的話 就是需要對應各產品準備客製化的生產流水線...
換句話說 別說X1000 出個X10的 基本上使用範圍就會被縮小到特定需求或是行業了82F 03/22 12:58
就人數啊 我以前在大廠訓練模型tech lead 率領五個人 現在我一個人幹全部事情
訓練模型就清洗data ->設計實驗-> eval結果->測試新設計 現在我開三個agent
幫我幹這些事情 然後週期又縮短比以前兩倍 我自己就x10

這個數學式子隱藏意義就是裁員 twitter 7000-> 700是還沒有ai agent時代
meta現在是測試一個manager管50個人 你去看人類學內部預測一個人可以抵一個團隊報告

我合作對象deployment AI infra老兄 他現在基本除了ML training辦不到 其他都行了
幹了 前端 後端 Datascientist UI PM 基本上 一次開5~10個agent
像是langsmith/infra monitor 不過合理說 x1000的確我給他評價 本身數字不正確
正確數字大概介於x20 ~ x50

不過以前一個人幹全司不可能事情 正在魔幻的發生 因為agent tool不是只有codex/claude
他有前端 後端 user testing 一堆 現在連user 測試 都叫ai測試 取代低階QA
在接下來會有agent call agent 這種更跳躍式的前進 更全面自動化

反過來簡單一件事 amazon現職15萬人 如果數學式子為真就是x10~x100是合理
那意味者就是刪減10萬員工 這也是為何ceo andy說 他預測2030 我們只要很少量員工

很快 會計事務所 20人小公司 會縮減到2~3人 同理法律事務所現在在美國已經有這趨勢
電影動畫 各種產業當x10 x100出現 就是人力縮減 這就是這公式最大意義 ->裁員
你去看現在已經很多財經公司 使用claude套件 報表人力需求都降低

用人力堆上去的 軟體護城河都不在有任何意義 任何產業用人力成本推上去的時間護城河
都沒意義 這不是美國碼農懶不懶 而是手寫code已經漸漸失去意義 手寫文章
手打報告 手動處理資訊 都失去了價值
※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 13:28:59
→ sdbb: Handjob blowjob 機器人比不上真人
手工 出嘴巴工作，機器人還是輸真人96F 03/22 13:51
推 zaqimon: 還是需要創造一堆職缺塞老人吧 不然老人要幹麼
老人薪資福利要高腦袋僵化體力不行只能當管理職
還好AI無法取代只出一張嘴的肥貓老人98F 03/22 14:38
推 ProTrader: 樓樓上 你想的太歪了 那方面未來機器人應該也能達成101F 03/22 14:40
推 zaqimon: 所有的組織內部都一樣 至少有一半的人是肥貓米蟲
然後才來喊基層人力不足
我猜以後警察消防掃地收垃圾開公車通通都是外勞吧短期內也看不出AI機器人有能力取代這些基層人力
例如到區公所或銀行 櫃台永遠塞滿人慢吞吞
後面坐著一堆人不知道在幹麼
年資越高薪水越高座位就越後面
AI永遠無法取代那些人102F 03/22 14:41
推 shoo42: 結論要歐印誰QQ ? 記憶蛙還有救嗎！救救我110F 03/22 20:34

--
作者 LDPC 的最新發文:
點此顯示更多發文記錄