※ 本文轉寄自 ptt.cc 更新時間: 2025-05-01 23:01:03
看板 Stock
作者 標題 [心得] deepseek是蒸餾chatGPT的嗎?
時間 Wed Apr 30 22:46:56 2025
DS剛出的時候 有討論DS是否蒸餾chatGPT
後來好像不了了之 不知結論如何
昨天meta祖克柏和微軟執行長納德拉聊天
講到蒸餾 似乎暗指DS是蒸餾來的
https://youtu.be/HZ47Fts1JDE?t=1544
股點是 如果DS只是蒸餾來的
那因為DS跌的部分 會漲回來嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.242.176.48 (臺灣)
※ 作者: newuser 2025-04-30 22:46:56
※ 文章代碼(AID): #1e4ZVYZK (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1746024418.A.8D4.html
推 : 從來沒有"因為DS跌"這回事 那只是編的故事...1F 04/30 22:47
→ : 摸摸擬的LP，你認為DS會造成AI跌嗎2F 04/30 22:48
推 : 蒸餾也沒差3F 04/30 22:49
→ : 大家都開始蒸餾
→ : 大家都開始蒸餾
推 : 早就說是蒸餾的5F 04/30 22:49
→ : 昨天說有 small LLAMA , mini LLAMA6F 04/30 22:50
→ : 目標就是蒸餾到 可以在手機本地執行
→ : 目標就是蒸餾到 可以在手機本地執行
推 : 其實要蒸餾的好也很是有技術 不然model怎會那麼大8F 04/30 22:51
→ : 心得?9F 04/30 22:52
→ : 一開始訪問 databank的Ali Ghodsi10F 04/30 22:52
→ : 現在開始 就是比看誰有資料 可以訓練
→ : 進入 業務邏輯的 蒸餾
→ : databricks
→ : 現在開始 就是比看誰有資料 可以訓練
→ : 進入 業務邏輯的 蒸餾
→ : databricks
推 : 能夠靠蒸餾賺錢也是一個技術14F 04/30 22:53
→ : 資料很值錢的 就像醫院的X光15F 04/30 22:53
→ : 這些AI模型用的資料有付過版權嗎 你沒看OPEN AI都16F 04/30 22:54
→ : MRI CT17F 04/30 22:54
→ : 說不會提告了18F 04/30 22:54
→ : 現在一堆 在海量訓練 PDF論文的 版權都說不明白19F 04/30 22:56
→ : chatgpt 有開源嗎？20F 04/30 22:56
→ : 但是 現在是爆炸比速度的時代21F 04/30 22:56
→ : 等你發現 提告 搞不好都進入下一階段了
→ : 根本沒空打官司
→ : 而且 全部都新創 根本沒賺錢 提告也沒用
→ : 現在沒人賺錢好嗎
→ : 等你發現 提告 搞不好都進入下一階段了
→ : 根本沒空打官司
→ : 而且 全部都新創 根本沒賺錢 提告也沒用
→ : 現在沒人賺錢好嗎
推 : 事實是 蒸餾大家都在用 只是當時是中國的 所以反應26F 04/30 22:58
→ : 才大 一方面 仇中 一方面 美各種制裁/限制還是被人
→ : 搞出生成式AI 然後美研究AI 有超過一半是中國人
→ : 記得現在AI領域 中國人佔比70% 剩下的白人分
→ : 才大 一方面 仇中 一方面 美各種制裁/限制還是被人
→ : 搞出生成式AI 然後美研究AI 有超過一半是中國人
→ : 記得現在AI領域 中國人佔比70% 剩下的白人分
推 : 恐怖的是 下一個階段30F 04/30 22:59
→ : 現在 大陸已經開始用MCP 做 智慧家電 聊天玩具
→ : 然後 白色家電 因為紅海市場 所以沒人在做
→ : 所以 只有大陸在搞 智慧家電 通吃
→ : 跟冰箱聊天 跟冷氣聊天 和超可動玩具聊天
→ : 仿真狗 仿真貓 可以聊天的寵物
→ : 最快看到的應該是 智慧電風扇吧 $3000以內
→ : 現在 大陸已經開始用MCP 做 智慧家電 聊天玩具
→ : 然後 白色家電 因為紅海市場 所以沒人在做
→ : 所以 只有大陸在搞 智慧家電 通吃
→ : 跟冰箱聊天 跟冷氣聊天 和超可動玩具聊天
→ : 仿真狗 仿真貓 可以聊天的寵物
→ : 最快看到的應該是 智慧電風扇吧 $3000以內
→ : 是不是蒸餾根本沒有很重要 AI能用低成本回答你的問37F 04/30 23:02
→ : 題 你無聊去管他蒸不蒸餾？後面要怎麼競爭才是重點
→ : 題 你無聊去管他蒸不蒸餾？後面要怎麼競爭才是重點
推 : 早就說是了啊 但chatgpt那個本來就是開放的 他也不39F 04/30 23:02
→ : 能說啥
→ : 能說啥
→ : 過氣 跟電子狗和電子雞一樣過時了41F 04/30 23:02
噓 : 台灣人軟體實在爛到不行42F 04/30 23:07
→ : 這篇是時空旅人嗎 Lag這麼久43F 04/30 23:08
→ : 阿祖過氣的的llama這麼曝光度這麼低是不是很氣阿44F 04/30 23:10
→ : 那葛羊駝4還被踢爆是作弊 只能說不愧是meta
→ : 那葛羊駝4還被踢爆是作弊 只能說不愧是meta
→ : 阿祖沒差 他進入下一個時代 開始配帶眼鏡46F 04/30 23:12
![[圖]](https://i.imgur.com/Tf6YQLCh.jpeg)
噓 : 你那邊還來得及，小心川普的對等關稅會很誇張，是48F 04/30 23:13
→ : 直接用貿易逆差去課關稅
→ : 直接用貿易逆差去課關稅
→ : 2.5超神 sonet也不錯但是貴人家10倍50F 04/30 23:13
推 : 樓上混測 怎麼準51F 04/30 23:14
→ : 大模型 和邏輯模型要分開吧
→ : LLM Leaderboard
→ : 現在分很多 領域
→ : 大模型 和邏輯模型要分開吧
→ : LLM Leaderboard
→ : 現在分很多 領域
→ : 好用便宜 gemini2.5就夠了 但真的感謝ds幫忙卷價格55F 04/30 23:15
→ : 排名每天變 對我們不重要
→ : 排名每天變 對我們不重要
→ : Nvidia 還搞了一個1.5B 的奧數模型57F 04/30 23:16
→ : 奧數 Leetcode 這些 未來還會有一堆各種領域
→ : 奧數 Leetcode 這些 未來還會有一堆各種領域
推 : 459F 04/30 23:23
推 : DA並無法取代GTP ,只能是萃取GTP優化
→ : DS就是二房東的概念 但是DS的出現演變成
→ : AI不一定要軍備競賽 低成本也能優化
推 : DA並無法取代GTP ,只能是萃取GTP優化
→ : DS就是二房東的概念 但是DS的出現演變成
→ : AI不一定要軍備競賽 低成本也能優化
→ : 只有神知道股市為什麼跌 不要自己掰理由63F 04/30 23:29
噓 : 不重要 現在都看糞川一句話64F 04/30 23:32
→ : 有一隻美股專門在防DS蒸餾ㄉ65F 04/30 23:40
噓 : 蒸餾也是技術，你以為跟製酒一樣簡單？66F 04/30 23:42
→ : DS現在跟屎一樣67F 04/30 23:55
→ : 不但速度慢 回的答案還是沒用的
→ : 不但速度慢 回的答案還是沒用的
推 : 主要是 成本沒有想像中低而已 效率已經跟不上其他69F 04/30 23:58
推 : Deepseek有開放蒸餾過的小模型。蒸餾是用於產生小70F 04/30 23:59
→ : 模型用於邊緣運算。
推 : DeekSeek是利用其它大語言模型產生訓練資料。
→ : 模型用於邊緣運算。
推 : DeekSeek是利用其它大語言模型產生訓練資料。
推 : 千問還比ds強73F 05/01 00:42
推 : 開源模型其實會更好被蒸餾74F 05/01 00:49
→ : 搞不好千問才是最大受害者
→ : 但不管怎麼說 在這樣的環境下 中國模型新創卻沒有多
→ : 起來 代表DS顯然就是偷買了很多GPU
→ : 按照DS說的那種成本 加上現在蒸餾技術與開源資料集
→ : 照理說應該要更捲才對 畢竟DS說600萬鎂
→ : 至於API的價格 DS能這麼低主要還是靠Token限制
→ : 其次就是 他提供服務也不需要賺錢 能賺到Data更重要
→ : 搞不好千問才是最大受害者
→ : 但不管怎麼說 在這樣的環境下 中國模型新創卻沒有多
→ : 起來 代表DS顯然就是偷買了很多GPU
→ : 按照DS說的那種成本 加上現在蒸餾技術與開源資料集
→ : 照理說應該要更捲才對 畢竟DS說600萬鎂
→ : 至於API的價格 DS能這麼低主要還是靠Token限制
→ : 其次就是 他提供服務也不需要賺錢 能賺到Data更重要
推 : 就是啊 yt很多人在講 就中吹整天說沒抄襲 笑死82F 05/01 01:03
→ : ds 影響利潤 怎麼會沒影響股市83F 05/01 01:10
→ : 隨便 反正現在過渡期 最後只有一個贏的 用贏的就是84F 05/01 01:19
噓 : 假議題85F 05/01 01:36
推 : Llama con 2005 回到影片 Satya 真的全力輸出阿86F 05/01 01:50
→ : 2025 這個影片 含金量真的高!!!
推 : 他們已經想打破邊界了
→ : 重構linux kernel , 把word excel powerpoint整合
→ : 過去的 萬年遺毒 現在已經不用考慮沿革
→ : 讓ai 繼續疊代下去 再大的專案也不怕
→ : 2025 這個影片 含金量真的高!!!
推 : 他們已經想打破邊界了
→ : 重構linux kernel , 把word excel powerpoint整合
→ : 過去的 萬年遺毒 現在已經不用考慮沿革
→ : 讓ai 繼續疊代下去 再大的專案也不怕
推 : 如果DS是蒸餾的，還能贏過GPT老師就講不通了92F 05/01 01:58
→ : DS開源週發布的論文也都是ClosedAI想不到的，也被各
→ : 大機構驗證確實有效
→ : 最後中國六大開源模型圍毆ClosedAI的態勢已成，奧特
→ : 曼準備打包回家了
→ : DS開源週發布的論文也都是ClosedAI想不到的，也被各
→ : 大機構驗證確實有效
→ : 最後中國六大開源模型圍毆ClosedAI的態勢已成，奧特
→ : 曼準備打包回家了
推 : Satya 已經在用AI suite agents97F 05/01 02:01
→ : https://cloud.google.com/blog
→ : 真的要追一下 各大廠的blog
→ : 大象真的要起飛
→ : 現在 是模型協同合作的鳴槍起跑
→ : 你有新的專業模型 就加入MCP
→ : 大模型主要賽道 已經沒人了
→ : 現在就是 比如何整合專業模型 然後開始賣錢
→ : 譬如 房地產AI仲介
→ : 這一兩年 就是成千上萬的專業模型開始廝殺
→ : https://cloud.google.com/blog
→ : 真的要追一下 各大廠的blog
→ : 大象真的要起飛
→ : 現在 是模型協同合作的鳴槍起跑
→ : 你有新的專業模型 就加入MCP
→ : 大模型主要賽道 已經沒人了
→ : 現在就是 比如何整合專業模型 然後開始賣錢
→ : 譬如 房地產AI仲介
→ : 這一兩年 就是成千上萬的專業模型開始廝殺
Google Cloud Blog | News, Features and Announcements
![[圖]]()
Official news, features and announcements for all Google Cloud products including Google Cloud Platform, Workspace, and much more. ...
![[圖]](https://i4.disp.cc/t/p/storage.googleapis.c1dcce889d743349c169c18404e3b9da6.jpg)
→ : 回家勒 等你會生吉卜力再來 笑死107F 05/01 02:16
推 : 但最近使用，程式deep寫比較好108F 05/01 02:26
→ : googl不是還上了個A2A?109F 05/01 03:07
→ : 現在大多是搞推理
→ : 現在大多是搞推理
推 : meta就是靠不用錢的用戶個資發大財的啊111F 05/01 03:41
![[圖]](https://i.imgur.com/IK2P8odh.jpeg)
![[圖]](https://i.imgur.com/A0T1Snph.jpeg)
→ : 那時候不是就說是蒸餾了114F 05/01 05:30
推 : 叫deepseek R2 來免費生成吉卜力，結果連吉卜力都115F 05/01 05:50
→ : 生成不了，根本看破手腳
→ : 生成不了，根本看破手腳
→ : 還在deepseek.. 現在最夯的是阿里巴巴的qwen3117F 05/01 06:49
→ lain2002 …
→ : 就空軍拿來炒作跟小粉紅在吹而已，後來發現DS跟Chat119F 05/01 07:55
→ : GPT比，大概就幼兒園生比大學生，現在沒人吹了
→ : GPT比，大概就幼兒園生比大學生，現在沒人吹了
推 : 台灣的人才都在ptt上分析國際局勢，沒時間研發軟體121F 05/01 08:12
→ : 啦
→ : 啦
推 : 我就問除了OpenAI 和 Gemini 有誰沒在蒸餾別人模型123F 05/01 08:23
→ : 的
→ : 的
推 : 人家都開源了 還在問是不是125F 05/01 08:58
推 : OpenAI沒開源怎麼蒸餾？付費蒸餾？OpenAI沒提告也126F 05/01 08:58
→ : 沒拿出證據。重點是DS用創新方法降低算力需求是事
→ : 實，而且用他的模型蒸餾出來，反而更好用
→ : DS又開源又寫論文，啊OpenAI咧？
→ : https://youtu.be/5RuqY1VQEE8
→ : 反正openAI多花錢買的算力拿去畫吉卜力也差不多啦
→ : 沒拿出證據。重點是DS用創新方法降低算力需求是事
→ : 實，而且用他的模型蒸餾出來，反而更好用
→ : DS又開源又寫論文，啊OpenAI咧？
→ : https://youtu.be/5RuqY1VQEE8
→ : 反正openAI多花錢買的算力拿去畫吉卜力也差不多啦
→ : 現在已經朝向圖片生成 甚至影片生成了 還在搞蒸餾c132F 05/01 09:37
→ : ostdown是在是太落後
→ : 不能創造多媒體的模型=糞
→ : ostdown是在是太落後
→ : 不能創造多媒體的模型=糞
→ : 最近新出的低設備需求、高推理能力的模型，蠻多都135F 05/01 09:47
→ : 有說是蒸餾來的
→ : *推論
→ : 有說是蒸餾來的
→ : *推論
→ : 不蒸餾怎麼本地跑啦138F 05/01 10:55
噓 : 說ds寫程式比chatgpt 好的大概沒啥再用139F 05/01 11:02
→ : 一直提gpt 真的都在看熱鬧..140F 05/01 11:08
→ : 有在搞開發的都自己下去弄ai了，還在比較deepseek
→ : gpt?
→ : 有多少RD 感謝 deepseek 做領頭羊 還不知道？
→ : 有在搞開發的都自己下去弄ai了，還在比較deepseek
→ : gpt?
→ : 有多少RD 感謝 deepseek 做領頭羊 還不知道？
推 : 阮慕驊跟洩精合 古越含8zz是齊名的144F 05/01 12:48
推 : 你網路是接撥的嗎xd145F 05/01 12:50
→ : 你那邊還來的急，晚點要課關稅了，記得歐印反一146F 05/01 15:15
→ : 一個很好控盤的工具147F 05/01 16:32
推 : 婊蒸餾沒意義 因為大家都在幹148F 05/01 22:55
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 22
回列表(←)
分享