看板 Stock作者 zuvio (zz)標題 Re: [請益] 大家怎麼看這一波AI浪潮時間 Mon Jul 17 09:58:27 2023
我發現很多人陷入一個迷思
能做電腦的公司這麼多家
為什麼AI一定要靠NV才能用
chatgpt就不是靠NV起家的啊
也是有其他公司會做伺服器晶片
說不定intel德儀之後有更好的工業伺服器晶片屌打NV
現在不知道為什麼很多人覺得AI是建構在NV的上頭
買一堆NV相關企業的產品
但實際上AI根本就是軟體
像google搜尋引擎一樣的軟體
根本不一定需要哪間公司的伺服器才能做
隨便一家有做伺服器的都能用好嗎
之前挖礦區塊鏈那些公司也能做AI好嗎
所以這波AI真的在亂漲，不知道誰說只有NV能搞AI
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.24.102 (臺灣)
※ 作者: zuvio 2023-07-17 09:58:27
※ 文章代碼(AID): #1ajA151x (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1689559109.A.07B.html
※ 同主題文章:
07-15 15:30 darkblue6404.
Re: [請益] 大家怎麼看這一波AI浪潮
07-17 09:58 zuvio.
→ strlen: 看了這篇 才曉得無知的恐怖3F 07/17 10:00
推 zerro7: 眾人皆醉我獨醒 你可以all in其他公司 沒人攔你5F 07/17 10:01
推 k543k5: NV是因為設備吧 你有軟體沒有足夠的運算能力還是廢物啊
你拿軟體跟硬體比 真的有問題欸6F 07/17 10:01
→ materu: 你可以選百度10F 07/17 10:04
→ zuvio: google搜尋龐大資料是靠硬體還是演算法
如果靠硬體取勝，yahoo最後怎麼輸google12F 07/17 10:07
推 iorittn: 現在算AI就是老黃的卡才夠力啊
你同演算法用ATI只有不到8成的算力14F 07/17 10:08
→ zuvio: 現在只有chatgpt算ai，google還寫不出來16F 07/17 10:09
→ mnxzq: openai創立初期 nv送了幾塊顯卡給他們==17F 07/17 10:09
推 deepelves: 就說了AI靠蒜粒取勝，硬體不夠力沒辦法18F 07/17 10:09
推 PTTpeter: AI晶片、AI晶片，沒有晶片，你有演算法有屌用?19F 07/17 10:09
→ mnxzq: 你是不是沒搞懂gpu和伺服器？20F 07/17 10:09
噓 chresh: 對，你說的都對，你趕快買21F 07/17 10:09
噓 jayppt: 哇哇哇哇哇哇 都7月了還有這種文章22F 07/17 10:10
→ iorittn: Ati 8成還是高估的23F 07/17 10:10
→ zuvio: 是看最強的AI是誰，硬體是替代品誰都可以24F 07/17 10:10
→ deepelves: 不然美國政府何必限制NV出口中國
如果是靠軟體取勝25F 07/17 10:10
→ jayppt: 好啦 認真講2個事情 1.伺服器不是都一樣的 AI需要的27F 07/17 10:10
→ deepelves: 黃氏定律跟摩爾定律並列重要，不要不信邪28F 07/17 10:11
→ jayppt: 運算量 能最有效做運算的就是GPU 也就是NV AMD的卡29F 07/17 10:11
→ mnxzq: 硬體誰都可以代替 台積電也是誰都可以代替的啦30F 07/17 10:11
→ zuvio: 像區塊鏈跟google是一定要NV才能做嗎？
當然不用，硬體這種東西誰做都可以32F 07/17 10:11
→ jayppt: 2. AMD vs Nvidia 目前軟體配套 開發原件大家都是34F 07/17 10:11
→ jayppt: 用Nvidia的 這和微軟OS開發軟體vs 買IBM OS差別一36F 07/17 10:12
→ JuiFu617: 人家還教你如何發揮鏟子效益最大化37F 07/17 10:12
→ jayppt: 樣 你IBM可以喊破喉嚨我電腦也很好 整體大環境大家不在你上頭開發 AMD現在在這裡38F 07/17 10:12
→ JuiFu617: 你買了別家鏟子不會用，挖的到礦嗎？白做工又費時40F 07/17 10:13
→ mnxzq: 這文一出 緯創就V了41F 07/17 10:13
→ fatb: 不知道為什麼很多人 => 只有你42F 07/17 10:13
→ zuvio: 軟體演算法才是核心，硬體用什麼都可以43F 07/17 10:13
→ JuiFu617: 等到別人都挖到礦，你只能在家拿著鏟子哭44F 07/17 10:13
→ jayppt: 硬體目前也就只有2家合格 其中只有1家軟體配套合格但 事情其實可以變動的很快 AMD卡效能/價格比 便宜太多了 而且AMD確實信誓蛋蛋說要做好軟體配套45F 07/17 10:14
推 saygogo: 卻的GPT不是用NVIDIA？你的資訊有沒有怪怪的48F 07/17 10:15
→ bearching: 照你的邏輯說，就是一個是「說不定」，一個是現在稱霸，這個不漲誰要漲？ 等新的強者出來當然就漲新的那個49F 07/17 10:16
噓 s942816: 照你的邏輯買pc就好了52F 07/17 10:16
→ bearching: 隨便一個伺服器都可以，這概念跟隨便一個電腦都可以跑大型程式一樣，當然可以，一個跑一個小時一個跑整天54F 07/17 10:18
→ qss05: 你還是先搞清楚為什麼要用NV吧…但你說的也沒錯，只是不是現在，現成最讚的就是NV，聽說現在小規模最划算的是MAC，你也可以考慮買瓶蓋股59F 07/17 10:20
推 laject: 樓上正確，最猛的是Mac的新晶片，內存當顯存62F 07/17 10:24
→ jayppt: mac 能直接拿來訓練ai模型嗎 好奇 這很有趣65F 07/17 10:25
→ zuvio: 是看最強的AI公司喜歡用誰的硬體
不是有最強的硬體，AI公司一定就想用66F 07/17 10:26
→ jayppt: m2晶片 我知道可以比擬4070 那用它做opencl訓練ai？68F 07/17 10:27
→ zuvio: AI就是比google搜尋引擎更高階的演算法69F 07/17 10:27
推 saygogo: 我總覺得,蘋果正在謀劃什麼東西,他媽M2強成這樣,不可能不搶AI這一大塊肉70F 07/17 10:27
→ jayppt: 第一次聽到這個想法 我要買aapl了嗎XD72F 07/17 10:27
→ zuvio: 可以看成會幫你彙整搜尋資料的搜尋引擎73F 07/17 10:28
→ jayppt: amd就是用opencl練ai 蘋果m2堪比輝達4070 那 直接買mac練ai？！ omg
有種腦洞打開了的感覺74F 07/17 10:28
推 stlinman: 大家都會做輪子，為什麼有人造車就跑得特別快?77F 07/17 10:30
推 AndyMAX: 身兼瓶蓋跟伺服器的公公吃得到肉嗎 不過前提蘋果想搞伺服器79F 07/17 10:30
推 deepelves: 4070蒜粒很強嗎==?請去看A100和H10081F 07/17 10:31
→ zuvio: 所以微軟bing才可以融合chatgpt一起用82F 07/17 10:31
→ stlinman: m2晶片 CP值高的AI晶片!84F 07/17 10:31
→ zuvio: 但微軟有一定買NV的硬體來做伺服器嗎
並沒有吧85F 07/17 10:31
→ ckp4131025: A100一個不知道可以買幾顆M2, M2就消費級的87F 07/17 10:32
→ mnxzq: 你這樣跳針 緯創也不會跌啦88F 07/17 10:33
推 saygogo: 202X年蘋果發表會上,庫客：我在此宣布 AI已迎來的真正的蘋果時刻89F 07/17 10:34
推 stlinman: 演算法的競爭力很大一部分來自算力或運算成本(低功92F 07/17 10:34
推 lu19900217: 了解一下CUDA投入的時間點，你不用NV不然用誰的93F 07/17 10:34
→ stlinman: 耗)，目前就NV的競爭力最強。他耕耘AI這塊就久，馬94F 07/17 10:36
→ mnxzq: nvlink了解下好吧 這東西就是排擠其他廠用的95F 07/17 10:36
→ stlinman: 太效應下初期一定是贏者全拿。96F 07/17 10:36
推 AndyMAX: 蘋果重新定義Ai 瓶蓋噴97F 07/17 10:39
→ zuvio: 怎麼沒有人覺得siri也算ai101F 07/17 10:41
→ samuelyen: 不靠CUDA的話，GPU加速也有openCL之類的方案，只是易用性跟支援度還是比不上CUDA102F 07/17 10:42
推 lu19900217: NV是草創玩家軟硬體支援最全面，而且投入超過十年，其他間你要投入多少資源才趕得上NV這十年的累積?
這個累積不只NV技術堆積，還有已經養起來的用戶喔104F 07/17 10:42
→ zuvio: siri帶入chatgpt的ai演算法就變超強AI107F 07/17 10:43
→ jayppt: 我算過了啊 一個A100大概等於不到10張普通顯卡效能108F 07/17 10:43
→ zuvio: AI重點是軟體演算法，不是硬體109F 07/17 10:44
推 vi000246: 看來你不是內行的 不用出來抬槓了110F 07/17 10:44
→ jayppt: 但一個A100要台幣90萬耶111F 07/17 10:44
推 stlinman: 演算法不用靠硬體去算唷? 靠硬體不用計較運算成本跟112F 07/17 10:45
→ mnxzq: 真的一直跳針浪費別人時間115F 07/17 10:45
噓 nantai25: 你說啥都是多餘的，股價會證明給你看116F 07/17 10:46
推 YJM1106: 追求到極致的時候 成本差5%就能統一市場117F 07/17 10:46
→ jayppt: 我收回剛價格的推文 a100價格很亂 看不懂119F 07/17 10:48
推 benson01: 建議你去看看AI訓練需要多少硬體資源，再來說硬體不重要吧121F 07/17 10:52
噓 hn85255413: AZUR/AWS的GPU instance硬體都是NV好嗎？哪來的chatgpt不用NV訓練124F 07/17 10:59
推 xczh: 推原po獨立思考，但需要補充點產業資訊126F 07/17 10:59
→ strlen: 你各位別再鞭了 股市就是需要這種燃料才會噴好唄
就讓他一直跳針硬體不重要沒關係啦 你可以歐硬空NV127F 07/17 11:00
推 sunny401: 軟體是要靠硬體加速的，多和做ic的朋友聊聊129F 07/17 11:00
→ zuvio: bing也加入chatgpt，有用到NV訓練？130F 07/17 11:01
→ strlen: 沒有 沒人用 趕快空 空完記得PO單 我們支持你131F 07/17 11:01
→ strlen: NV下月財報肯定大爆死 顯卡庫存高 AI卡沒人用 快空133F 07/17 11:02
→ zuvio: 我不是說沒用到硬體，而是各種硬體都能134F 07/17 11:02
推 benson01: 事實上ChatGPT用到超多GPU135F 07/17 11:03
→ jayppt: nvidia顯卡部分真的很爛 爛透 4開頭的還不如3080ti137F 07/17 11:04
→ zuvio: AI不是只有NV能做，有搞伺服器的都能138F 07/17 11:05
→ benson01: 你看到的只有前端，在後端訓練就是只能用特定的硬體，一般的CPU會跑到天荒地老
你需要多看資料139F 07/17 11:05
→ JuiFu617: a100這些是特化顯卡，簡稱算卡，專門用來訓練ai的142F 07/17 11:05
→ zuvio: AI跟區塊鏈跟搜尋引擎都一樣是演算法143F 07/17 11:06
推 lu19900217: NV的護城河有多寬，要了解AI的論文有多少是基於NV的軟硬體去做的，這如同MS在學校就開始養用戶一樣144F 07/17 11:06
→ sonnyc: 用別的硬體訓練到天荒地老 生意還要不要做了146F 07/17 11:07
推 benson01: 假設用一般CPU訓練要幾個禮拜，用GPU只要幾分鐘，請問你要用哪一個？147F 07/17 11:09
→ jayppt: 特化卡沒到那麼猛的 最強的64浮點運算 特化卡也不到10倍效能 真實訓練resnet machiine learning 特化a100大概就nvdia高端30開頭卡的2倍效能多一些 但耗能減半就是150F 07/17 11:11
推 JuiFu617: 特化卡專門為ai服務還可以用nvlink來實現更高效的併聯計算154F 07/17 11:13
→ sonnyc: 重點nvlink可以串一大串運算卡協同作戰 一般顯卡沒辦法156F 07/17 11:13
→ JuiFu617: 現在就是用算卡來串連大力出奇蹟啊158F 07/17 11:14
推 uller: 你這樣很好啊 這樣我就可以安心繼續報著159F 07/17 11:14
→ k85564: 重點是怎麼把數張gpu連接起來160F 07/17 11:15
→ k85564: 你說的那些晶片跟nv根本沒關系
德儀根本做不同東西 也扯在一起162F 07/17 11:15
推 JuiFu617: 量變產生質變，人家都示範過的路了164F 07/17 11:17
→ k85564: 先前收mellanox165F 07/17 11:17
→ jayppt: 橫向串聯 其實挖礦時代市售卡就有了 不是特化卡專有167F 07/17 11:19
→ k85564: 這篇連軟硬體都搞不懂吧..168F 07/17 11:19
→ jayppt: 知道為何用gpu嗎 不用cpu？因為machine learning的169F 07/17 11:20
→ ji3g4tj06fu6: 笑死，你看Google這幾年釋出的平台只能用在哪家硬體上？170F 07/17 11:20
→ jayppt: 運算 一開始就是橫向的運算啊172F 07/17 11:21
推 ronite: 沒關係你可以別買，或者去放空173F 07/17 11:23
推 rqm: 不懂的人還是很多 表示還有很大漲的空間174F 07/17 11:24
→ jayppt: 一張卡一秒例如讀1000張圖片 10張卡1秒1萬張這樣
反正 釐清一個事情就好 ai訓練 machine learning
橫向串聯 全部都不是什麼特化卡專有的東西 就醬bye175F 07/17 11:25
推 kamio: 做AI不買NV的卡一定是抖M178F 07/17 11:27
推 crowley: 你可以先去看一下機器學習的yt再來討論179F 07/17 11:28
→ a79111010: 反正老黃都先賺 以後就是ASIC的事180F 07/17 11:31
推 sonnyc: gpu串聯現在nvlink+nvswitch速度還是屌打其他人的183F 07/17 11:35
推 bala73: 這波爆發式起漲點在哪 可以回去看一下 是不是某刀客Q1財報開出來嚇死分析師184F 07/17 11:43
噓 ravager: 你說得都對，那你還不快去投資非NV陣營的硬體供應商186F 07/17 11:52
噓 DrTech: 但實際上AI根本就是軟體… 。 請教一下Intel 的CPU有哪個可以訓練，大型語言模型的？188F 07/17 11:57
→ Brioni: 現在是開AI賭場，大家一起玩一把190F 07/17 11:58
噓 chenteddy: 你說的都對 CUDA就是個被吹噓的東西
趕快去買 intel191F 07/17 11:59
推 rahit: 這篇看起來一堆連AI到底是什麼都不懂的在嘴人
笑死193F 07/17 12:06
噓 Anutmiao: 只懂一點點就開始嘴的才是最無知195F 07/17 12:14
噓 Presentation: AI 相關的演算法20幾年前就有了，為什麼做不到？因為硬體跟不上啊196F 07/17 12:14
噓 aa6300158: AI根本就是硬體，硬體不夠強，要訓練個頭。199F 07/17 12:16
噓 Presentation: 現在AI最強的不是演算法，是大量資料的處理能力，這個你靠演算法改來改去還不如硬體的一次升級200F 07/17 12:18
噓 shorty5566: 這篇菜味超重 笑死 我看你連TI跟INTC在做啥都不知202F 07/17 12:21
推 ashrum: 我的簡單認知，CPU講人話，GPU講電腦話，AI要講電腦話的運算中樞才省電省時203F 07/17 12:29
→ k85564: 先搞清楚類比（TI)跟數位 可以看看最新的那部電影有介紹205F 07/17 12:29
→ k85564: 樓上可以想像成cpu是教， gpu是小學生，ai其實就是處理簡單的事情 ，只是要一次處理上兆個次，所以沒有孰優孰劣，只是應用不同而已209F 07/17 12:31
→ shorty5566: AI的本質是高速運算 不要出來給別人笑了212F 07/17 12:31
推 shikemurajy: 你去念個研究所，做AI相關題目
你就知道為什麼了
除非NV有很明顯缺點，不然近五年很難被超越213F 07/17 12:33
推 ashrum: 如果只是要高速運算，那量子電腦才是唯一解，問題它就不是，AI軟體設計“在GPU”體系下有突破也是原因216F 07/17 12:35
→ shorty5566: 量子電腦在一般場景根本用不了 還要特定演算法219F 07/17 12:37
推 allen0080: 如果大家的理解都像這樣就好了,我還有便宜NV可以買220F 07/17 12:37
噓 orz811017: 類神經網路大概199x就有了，你有沒有想過為什麼要到201x年才開始大紅大紫
為什麼連Google都要發展自己的TPU而不是用CPU221F 07/17 12:37
→ shorty5566: 簡單來說NV的模組就是最泛用性的也最好用的225F 07/17 12:38
推 wade00123: CUDA架構下的效率就是比較好
才會搞到蘇媽直到今天都還沒大單226F 07/17 12:38
→ shorty5566: 拿蘋果來說就是軟硬整合技術力最強 這樣就很好懂228F 07/17 12:40
→ jayppt: 問題就在這 這裡不是台積電vs三星 硬體實力差太多229F 07/17 12:40
→ jayppt: 如果 如果啦 護城河是軟體架構的話 那就會怕夠不夠寬231F 07/17 12:41
噓 nimab: 這篇文一堆不懂AI只會炒股的人 好好笑233F 07/17 12:41
→ shorty5566: 拿ti出來說嘴真的太搞笑了 完全搞不清楚狀況234F 07/17 12:42
→ nimab: 只會跟風買 技術卻一點了解都沒有 悲哀啊235F 07/17 12:42
推 dick0209: 蘋果當初也用了三星跟台積電的晶片，誰說硬體沒差的236F 07/17 12:45
→ jayppt: 誰提啥泛用？真的很奇怪 奇怪
cuda之所以強就是只做相關運算啊237F 07/17 12:47
噓 puffycat: 什麼迷失！開源上都是CUDA的code！這事NV累積十幾年的結果！另外兩家CPU大頭在當年才不管這市場！現在搞得一家獨大！240F 07/17 12:47
→ orz811017: 現在就是沒錢的小廠乖乖買的NV買公版，大廠如Amazon Google燒錢做ASIC客製化，什麼硬體不重要，最後都是從上層軟體一路戰到底層硬體，不然為啥iPhone海放Android，不就apple軟硬整合好243F 07/17 12:48
→ jayppt: amd用的opencl才是泛用 能用在AI訓練到FPGA都能用248F 07/17 12:49
→ rewisyoung: A100一個30萬 H100一個120啦249F 07/17 12:51
→ fan5566: 笑死 演算法都多久了250F 07/17 12:52
噓 puffycat: 在ChatGPT之前要推他廠的AI方案，第一個被打槍的是客戶的原有CUDA code怎麼辦？原廠說客戶可以自己轉！客戶就謝謝再聯絡！繼續買NV的卡！251F 07/17 12:55
噓 ninggo: 你可以解釋一樣是沙子為什麼一定要台積電嗎256F 07/17 13:43
推 ray333: 明明車子都可以開，為啥妹只上benz bmw?257F 07/17 13:51
推 ckp4131025: Cuda vs Opencl就是iOS vs Android還有人不懂嗎259F 07/17 15:32
噓 ekgs: 標準外行260F 07/17 17:09
--