看板 Stock作者 EvilSD (星塵遠征君)標題 Re: [請益] NVDA跟AMD怎麼突然崩了時間 Sat Mar 9 13:51:57 2024
本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解，
但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的
※ 引述《LDPC (Channel Coding)》之銘言：
: 週末有點時間 之前寫的老黃故事 https://disp.cc/ptt/Stock/1aVG4__D
: 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力
: 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料
: 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情
: 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理
: 但在pre-trained model/foundation model出來後 一切都不同了
Pre-trained model的概念從開山祖師爺Alexnet誕生以來就有了
早期AI的爆發起源於李飛飛辦了一場視覺的辨識比賽，但為此比賽就需要資料庫
因此建立了Imagenet，人類第一個大數據影像庫，有一千種類別
當年應該是第二屆吧，Alexnet的橫山出世，靠著與其他人完全不同的架構
壓倒性的準確率獲得了當年冠軍(比前一年冠軍提高了10%左右)
這個架構就是當年類神經模型的延續，也就是俗稱的深度學習Deep Learning架構
因此後來開源了此架構模型跟參數，也就是俗稱的Pre-train model，因此就開起了大
AI時代的序幕，大家蜂擁而上的發展新架構，Fine-tuning新模型
而當時要訓練十幾萬張的照片光用CPU是跑不動的，因此Alex還有一個很大的貢獻是
他手刻調用兩張GPU顯卡進行運算，也是老黃AI王朝的開始
在此技術突破後帶來的就是各種影像上突破，例如人臉辨識、停車場進出、智駕車等
也讓智駕車從空談變成了可能
: 大體而言就是 模型透過某種學習(self-supervised) 機器能從無註記資料學習一定法則
: 而能做到超出原本數據沒有做過的事情 甚至簡單調整 (zero-shot)再不需要重新訓練
: 或者少量訓練(fine-tuning) 機器就能根據落地場景 能達到最佳化結果
: 甚至因為self-supervised關係 許多網路上的野生數據 也不需要人工標註
: 因為機器會在這些大量野生數據 自我學到法則 從而產生推理的效果
: 而這些最大的意義就是 機器能做到超乎原本數據給的標籤效果 理解數據 創造法則
: 這些意味者AGI的那個聖杯 有機會可以摸到邊了 而OpenAI最大的概念就是
: 大力出奇蹟 也就是堆疊數據多樣性(multi-tasking)及 透過龐大算力跟模型
: 而所達到的模型泛化(zero-shot)以及AGI效果更明顯
其實這邊算是一堆概念混在一起使用了，首先zero-shot在現階段是很難訓練的，
通常必須要有一個大模型，才有辦法使用zero-shot，或是few-shot learning
簡單來說就是你無法從零開始，事到如今一定還是必須要有資料
而且是高品質的標記資料，再加上暴力式硬體進行學習，才有機會變大模型
所以我接續上面的故事繼續說後續好了，這樣可能讓一般人也比較能夠看得懂
在影像上取得突破後，是不是就能套用在全部的影像環境的，答案是否定的
因為在影像環境中有各式各樣的難題，例如你是個分類問題還是物件偵測問題等等等
因此首先突破的是分類問題變得更精準，突破的方式就是將類神經網路建構的更深層
，就出來了例如resnet、inception等架構
後續就解決了辨識更精準，甚至到後來YOLO架構的出現解決了物件偵測的問題
隨著影像上的突破，大家就漸漸地將這些方式導入到其他的領域中，例如訊號、音訊
、文字、控制等
後來出現了GAN的架構，帶給人們另一種啟發的思想，所謂的GAN也可以當作是生成式架
構的發想開創，讓大家知道原來可以讓AI創作出東西，而不是單純地進行識別而已
後續講快一點，在這段年間AI的論文架構基本上是一週小改一個月大改，過了半年就是落
後技術，但隨著google發表了Attention與Transformer後，開始有了異質性結合的可能，也就是現在gpt
的始祖，可以分解文字，可以將文字輸入變成影像輸出等
也就是從此之後AI漸漸地從開源導向了不開源，而且某些程度上是閉鎖的
上一個這樣的領域應該是強化式學習(Reinforcement learning)
在當年OpenAI發表GPT2的時候，就對他巨量的參數量感到吃驚，因為可想而知是背後
有著巨型不開源的資料庫，所以在後續GPT3的成功，也開啟了LLM的朝代
一個AI成為軍備競爭的朝代，你需要有夠多夠高品質準確的資料，加上巨型的模型跟
龐大的顯卡庫，就能越接近AGI，這也是為啥美國拼命禁中國生產晶片進口顯卡，最主要
的目的除了5G手機以外就是避免他們比美國更快發展出AGI
那關於老黃的起飛呢，一開始靠著個人版或是主機板的顯卡吃片天下，再來是靠著挖虛擬
貨幣吃掉了所有消費型顯卡的量，接下來就是奧特曼發現現在的GPU量是源源不足以誕生
出AGI以及能用於落地，所以就造就了現在NV的盛況，大家可以想像原先的資料中心，原本
Server一半以上都要換成GPU(基本級別)，如果要導入生成式架構應用，或是未來的AGI，
那可能是現今十倍甚至更高到百倍的用量
這也是我們一般人難以想像的
最後補充一些我看好的市場吧，因為生成式架構的誕生，讓文字生成，影像生成已經變了
可能，未來就是3D影像領域與控制領域也會變成了可能
例如建立了大量標準動作庫,讓機器人只要看懂一次,就能夠完整的操作此動作,
又或著是在AR/VR領域，現在建立虛擬場景成本很高，之後都靠生成架構，就能降低
很多成本，因此VR MMORPG也會漸漸出現
因此陪伴機器人、家居型機器人會是下一個市場，以及生成式投影機或相關虛擬生成
的產業也會越來越龐大，但我想應該是還要一段時間
題外話，最近OPENAI出了生成式影片的功能，早在一年前我們還在看巨石強生吃石頭，隔
不到一年就有如此大的進步，只能說可能AGI的時代會比我們想像中的還快到達
雖然我是傾向AGI不是已經誕生，就是需要在遙久的以後才會出現吧
--
那片有座高塔哭著朝北方奔去的天空，是我此刻片尋不著的風景
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.242.104 (臺灣)
※ 作者: EvilSD 2024-03-09 13:51:57
※ 文章代碼(AID): #1bw_a2RH (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1709963522.A.6D1.html
※ 同主題文章:
03-09 07:37 longkiss0618.
Re: [請益] NVDA跟AMD怎麼突然崩了
03-09 13:51 EvilSD.
推 w60904max: 看樣子要因為AI失業 只能在家玩刀劍神域了1F 03/09 13:56
→ LDPC: clip, wave2vec都不需要label data 而wave2vec是後3F 03/09 13:58
clip跟wave2vec都要進行預訓練的,並不是不用
只是你直接拿他們訓練好的參數就能夠直接fine tune或是直接映射
→ LDPC: 來audio encoder幾時(e.g. Meta M4T)5F 03/09 13:58
推 fakelie: 我自己覺得照護類機器人應該沒這ㄇ快6F 03/09 13:59
推 fakelie: 現在最新model一樣base attention machanism9F 03/09 14:01
推 dosiris: 最先會被取代的是櫃檯人員和Uber Eat10F 03/09 14:01
→ LDPC: On the Opportunities and Risks of Foundation Mo11F 03/09 14:01
→ fakelie: 跟人體有關ㄉ不能出錯 容錯率高產業比較有發展空間12F 03/09 14:02
→ LDPC: odel裡面有時間軸解釋pretrained model歷史緣由
甚至Bert也是透過無需標註的數據來做pretrianing13F 03/09 14:02
推 fakelie: 因為attention導入有weight, softmax，一樣改變不了NN 本身base on rateㄉ事實15F 03/09 14:05
→ LDPC: 你所謂高品質標籤數據現在的做法用在finetune17F 03/09 14:06
推 roseritter: 未來城市規劃裡面 智慧運輸載具專用道 也許會變重要18F 03/09 14:06
→ fakelie: bert fine-tune看用途 一樣需要標籤19F 03/09 14:06
→ LDPC: 且以現在模型大小來看wave2vec,bert,clip都小於1b根本不能算作大模型22F 03/09 14:07
推 fakelie: 對ㄟ hr的確能取代掉xd24F 03/09 14:08
→ LDPC: 我摘錄李非非pretrained model 2021那份報告
A foundation model is any model that is trainedon broad data (generally using self-supervisione.g., fine-tuned) to a wide range of downstreamzero shot在clip來說 一個ccf12資料就可以train出來我不知道你那些立論是從哪來的....26F 03/09 14:08
你沒發現我說的是pre-trained model而不是foundation嗎
其實兩者的概念是有點歷史推移的
推 inoce: 跟我想得差不多32F 03/09 14:12
推 ae8450: 人類要滅亡了～33F 03/09 14:14
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:19:03
→ ProTrader: AI HR 有產品了 但是說取代真人HR還太早34F 03/09 14:14
→ LDPC: 而z-shot clip/bert/wav2vec就是從零開始train啊..35F 03/09 14:15
推 ImHoluCan: HR 與櫃台 那些都可以砍ㄧ砍，還有什企劃什麼的，根本肥貓ㄧ群，我是不信這些東西要靠多強大的AI 才能取代掉36F 03/09 14:15
→ LDPC: 且你理解有錯誤耶 文字輸入變成影像輸入是clip
融合了embedding 讓文字和影像embedding投射到同空DALL-E就是拿clip弄出來的39F 03/09 14:16
這是後面直接省略掉沒細說，不然可能要在再半小時以上...
→ LDPC: yolo並不是解決精確 而是解決速度上...QQ42F 03/09 14:18
現在算是又準又快了，至少導入Anchor free架構後，小物件開始抓的準了
→ rooberte: 十幾年前就在炒機器人了，現在普及的只有掃地機器人43F 03/09 14:18
→ LDPC: AGI是現在一個叫做世界模型的議題也跟embedding有關44F 03/09 14:19
推 j8630222: 需要真人實際勞力操作的沒那麼快 要等機器人 但對於靠電腦介面工作的 還有創意類 AI可以做大部分 留部分審核修正的人力就好 未來幾年內變化應該非常快速45F 03/09 14:21
→ LDPC: 現在pretrained大多意指就是foundation48F 03/09 14:21
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:23:44
噓 mrmowmow: vr勒，vr建場景成本高一般遊戲就不高嗎？vr遊戲的問題一直都是不適感，不管是配戴上或是身眼感受不同步的不適，跟什麼建模成本沒半點關係50F 03/09 14:23
推 ProTrader: 本篇內容太專業 沒在追的人根本看不董吧XD
VR 有聽說是視覺演算法議題 目前meta最認真53F 03/09 14:25
→ LDPC: "clip跟wave2vec都要進行預訓練的,並不是不用"55F 03/09 14:27
→ ProTrader: 元宇宙失敗不過meta沒有放棄 短期內不會有結果56F 03/09 14:27
→ LDPC: clip就是拿不需要標籤的數據去做的founcaiton model他就是從零開始 而且模型不大 這跟你內文講的牴觸foundation model就大多是self-supervised
且clip在做classification是zero shot 這過程都沒用到任何標籤數據 模型也不大 這跟你內文牴觸57F 03/09 14:28
問一個問題哦，一開始訓練CLIP是不是需要一組文字+影像的資料
然後兩者都各過一個Encoder
那這裡的文字+影像算是不需要標籤的數據嗎，這樣想想就好
→ rooberte: 威爾史密斯的機器人電影多久了？到現在也沒實現，沒實現就一直炒63F 03/09 14:32
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:37:09
噓 lou3612: 你是做ML的嗎 我看不懂你對”ChatGPT是zero-shot”的吐槽點是什麼65F 03/09 14:37
→ jo4: 期待VRMMORPG67F 03/09 14:38
推 LDPC: wow...天阿 你真的不是搞AI 不知道clip作法68F 03/09 14:38
推 sdbb: 補血69F 03/09 14:39
→ LDPC: clip是拿野生img/text pair 這通常是網路像本
而會說這不是標籤是 因為這些文字敘述有時候跟照片無關 比方說 你照了一個麵包 文字那邊寫在台中照的這時候你文字就不是標籤 他反而是噪音干擾照片
那這些野生數據是因為很多照片平台 作者上傳照片
會寫些文字 但這些文字不一定跟照片有關 他就只是野生數據 打個比方 你上傳出去照片 然後寫了一首詩這兩個相關性不大 但clip就是比較各種照片文字 找出相關性 但因為野生數據太髒 所以效果不好 才會有個BLIP 就是先做一個classifier去把文字跟照片沒對齊的數據排除掉 後期Laion則是利用其他方式做篩選
或說clip不是用標籤數據 就在他裏面的正負樣本是70F 03/09 14:40
推 naloer: AI居家機器人?不就特斯拉嗎…82F 03/09 14:45
→ LDPC: 沒有標籤的 正樣本就是文字跟照片有關 負樣本就是文字跟照片相反 更別說wave2vec 就是前後mask資料哪來的數據標籤.....0rz83F 03/09 14:46
→ lou3612: 好幾個點怪怪的 你要怎麼讓生成式ai 生出虛擬環境?然後意義何在? 不知道你是說得太少還是單純在蝦說87F 03/09 14:49
→ LDPC: Foundation models are typically trained using seself-supervised learning This indicated that thethey are not given any explicit labels or instru91F 03/09 14:54
推 ProTrader: 原po說的虛擬環境應該是3D影像 2D影像升級成3D94F 03/09 14:56
→ LDPC: 你要模型泛化 你就得用self-supervised learning
你加了標籤 就是讓模型特制化你要的目的95F 03/09 14:56
→ ProTrader: 上面那一段 才能說自己的產品升級成AGI97F 03/09 14:58
→ lou3612: 3D影像沒有物理引擎要怎麼訓練機器人98F 03/09 14:58
→ LDPC: Sora目前的確有人懷疑拿unreal的3D物理引擎finetune99F 03/09 15:00
推 dos01: 我比較同意這篇 太多在炒AI的畫餅畫太大了
目前確實是有可能做到遊戲相關的領域 但這塊的餅早就被吃得差不多了 都有廠商喊著不玩3A要撤資100F 03/09 15:00
→ LDPC: 我也希望是炒作 不然每年kpi NeurIPS/ICML/ICLR103F 03/09 15:02
→ dos01: 投入AI能得到的報酬率只是杯水車薪 根本不划算104F 03/09 15:02
→ LDPC: 搞得我都快瘋了..我最近投的ICML也要放榜了 995 QQ105F 03/09 15:03
推 FFFAAA: 可以請問CPU跑不動，為什麼GPU就跑的動，同樣CPU也在進化可以取代GPU，為什麼差距會那麼遠？106F 03/09 15:03
→ dos01: 至於機器人喔 5年內都不可能 要連結的複合產業太多首先金屬加工 微動 感應器 網路訊號 這些東西要整合起來沒這麼容易108F 03/09 15:04
→ LDPC: 機器人不可能啦 我同意 這波一堆機器人都裁員了111F 03/09 15:04
推 azhu: AI女友絕對是殺手應用, siri變成”joi”112F 03/09 15:04
→ ProTrader: 請先理解CPU與GPU的差異 簡單說就各有所長113F 03/09 15:05
→ LDPC: 我前同事去自駕Argo當CTO 一樣GG 五大自駕直接關門現在矽谷就業市場都是GenAI 傳統CV根本找不到面試114F 03/09 15:05
推 FFFAAA: AI還是以GPU為主，而不是目前最強CPU可以取代，同樣邏輯，那GPU是不是可以取代CPU目前工作，白話一點就是GPU屌打CPU。116F 03/09 15:06
推 dos01: CPU跟GPU就架構不同 去打幾年的遊戲就知道哪些東西是CPU負責 哪些又是GPU負責 就很容易理解了119F 03/09 15:06
推 cc77: 橫空啦123F 03/09 15:14
推 dosiris: 謝謝L大推薦的那篇文章 挑其中幾個章節來看124F 03/09 15:18
推 zoze: 白話: NV和AMD繼續當軍火商，賺爛127F 03/09 15:28
→ newwu: 別拿現在AI的方向來說未來發展一定是哪個方向 從最早拿NV的GPU來做深度學習也才15年而已 15年來大熱門的方向換N次了128F 03/09 15:32
噓 jojochen: 然而掃地機器人還是智障與效果不好132F 03/09 16:37
推 roseritter: 粗略的說cpu像做很長的加法f1+f2是，a11+a12+....+a1n+a21+a22+....+a2n
像國小的學生一樣2項加完得解再跟第三項加一路做下去134F 03/09 16:41
推 m06800825: GPU就是差在有辦法做tenaor的平行運算 這個部分CPU再怎麼好都無法取代138F 03/09 16:42
→ roseritter: GPU,直接兩個長橫式列出來，pop就給你(a11+a21)+(a12+a22)+.....+(a1n+a2n)140F 03/09 16:45
噓 azxswqa: 人力成本多少？AI成本多少？142F 03/09 16:56
噓 shinyi444: 沒有政府背書法條和歷史性的公約 這種撼動統治階級的東西能商轉嗎XD
只要未來有AI稅這東西全部崩回原點XD143F 03/09 17:48
推 pooiuty: 太專業的討論了，結論就是:1.這個市場還有無限想像空間，2.以後有可能變成各國軍備競賽，146F 03/09 17:53
推 twerk: 結論：NVDA和AMD繼續噴 TSLA就是個嘴砲仔148F 03/09 17:56
推 bbignose: NVDA領頭噴，TSM後面遞水150F 03/09 19:11
推 gwofeng: 我老婆初音終於要有身體了152F 03/09 23:37
推 cc1plus: 大間的 CSP 應該都會弄 CPU+自有TPU 的方式
沒辦法丟資源的才會弄 GPU ，CPU 也可以跑就推理
最近看到 intel i14 大打推理，不知道實際速度如何154F 03/10 02:00
→ pocession: 其實我覺得L大講的比較對。這篇的講法有些聞題
一開始的訓練並不是使用標記資料的。
就連在預訓練的前置訓練，像是word2vec這種淺層的神經網路
也沒有標記什麼東西。
有的，只是輸入和輸出的配對，藉由訓練去找出規律，就是所謂的模型
而在後面各式的task中，會對模型進行fine tuning 。而有些task，例如NER或是NEN，就需要高品質的預先標示好的資料。157F 03/10 04:41
--