回看板
Disp BBS
看板 Stock
作者 newuser (newuser)
標題 [心得] deepseek是蒸餾chatGPT的嗎?
時間 Wed Apr 30 22:46:56 2025


DS剛出的時候 有討論DS是否蒸餾chatGPT
後來好像不了了之 不知結論如何

昨天meta祖克柏和微軟執行長納德拉聊天
講到蒸餾 似乎暗指DS是蒸餾來的
https://youtu.be/HZ47Fts1JDE?t=1544

股點是 如果DS只是蒸餾來的
那因為DS跌的部分 會漲回來嗎?


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.242.176.48 (臺灣)
※ 作者: newuser 2025-04-30 22:46:56
※ 文章代碼(AID): #1e4ZVYZK (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1746024418.A.8D4.html
推 dogalan: 從來沒有"因為DS跌"這回事 那只是編的故事...1F 04/30 22:47
→ Feting: 摸摸擬的LP，你認為DS會造成AI跌嗎2F 04/30 22:48
推 nfsong: 蒸餾也沒差
大家都開始蒸餾3F 04/30 22:49
推 madeinheaven: 早就說是蒸餾的5F 04/30 22:49
→ nfsong: 昨天說有 small LLAMA , mini LLAMA
目標就是蒸餾到 可以在手機本地執行6F 04/30 22:50
推 Acetoxy: 其實要蒸餾的好也很是有技術  不然model怎會那麼大8F 04/30 22:51
→ cake10414: 心得?9F 04/30 22:52
→ nfsong: 一開始訪問 databank的Ali Ghodsi
現在開始  就是比看誰有資料 可以訓練
進入  業務邏輯的  蒸餾
databricks10F 04/30 22:52
推 huabandd: 能夠靠蒸餾賺錢也是一個技術14F 04/30 22:53
→ nfsong: 資料很值錢的  就像醫院的X光15F 04/30 22:53
→ Rainbow5566: 這些AI模型用的資料有付過版權嗎  你沒看OPEN AI都16F 04/30 22:54
→ nfsong: MRI CT17F 04/30 22:54
→ Rainbow5566: 說不會提告了18F 04/30 22:54
→ nfsong: 現在一堆 在海量訓練 PDF論文的  版權都說不明白19F 04/30 22:56
→ rivet: chatgpt 有開源嗎？20F 04/30 22:56
→ nfsong: 但是  現在是爆炸比速度的時代
等你發現  提告  搞不好都進入下一階段了
根本沒空打官司
而且  全部都新創  根本沒賺錢  提告也沒用
現在沒人賺錢好嗎21F 04/30 22:56
推 qwe78971: 事實是 蒸餾大家都在用 只是當時是中國的 所以反應才大 一方面 仇中 一方面 美各種制裁/限制還是被人搞出生成式AI 然後美研究AI 有超過一半是中國人
記得現在AI領域 中國人佔比70% 剩下的白人分26F 04/30 22:58
推 nfsong: 恐怖的是 下一個階段
現在  大陸已經開始用MCP 做  智慧家電 聊天玩具
然後 白色家電  因為紅海市場  所以沒人在做
所以  只有大陸在搞 智慧家電  通吃
跟冰箱聊天  跟冷氣聊天  和超可動玩具聊天
仿真狗  仿真貓  可以聊天的寵物
最快看到的應該是  智慧電風扇吧  $3000以內30F 04/30 22:59
→ AlarmAlarm: 是不是蒸餾根本沒有很重要 AI能用低成本回答你的問題 你無聊去管他蒸不蒸餾？後面要怎麼競爭才是重點37F 04/30 23:02
推 goodevening: 早就說是了啊 但chatgpt那個本來就是開放的 他也不能說啥39F 04/30 23:02
→ labbat: 過氣 跟電子狗和電子雞一樣過時了41F 04/30 23:02
噓 sheng76314: 台灣人軟體實在爛到不行42F 04/30 23:07
→ cphe: 這篇是時空旅人嗎   Lag這麼久43F 04/30 23:08
→ TheBeast: 阿祖過氣的的llama這麼曝光度這麼低是不是很氣阿
那葛羊駝4還被踢爆是作弊 只能說不愧是meta44F 04/30 23:10
→ nfsong: 阿祖沒差  他進入下一個時代  開始配帶眼鏡46F 04/30 23:12
推 sheng76314: https://i.imgur.com/Tf6YQLC.jpeg47F 04/30 23:13
[圖]
噓 z7956234: 你那邊還來得及，小心川普的對等關稅會很誇張，是直接用貿易逆差去課關稅48F 04/30 23:13
→ sheng76314: 2.5超神 sonet也不錯但是貴人家10倍50F 04/30 23:13
推 nfsong: 樓上混測 怎麼準
大模型 和邏輯模型要分開吧
LLM Leaderboard
現在分很多 領域51F 04/30 23:14
→ sheng76314: 好用便宜 gemini2.5就夠了 但真的感謝ds幫忙卷價格排名每天變 對我們不重要55F 04/30 23:15
→ nfsong: Nvidia 還搞了一個1.5B 的奧數模型
奧數 Leetcode 這些  未來還會有一堆各種領域57F 04/30 23:16
推 icehorng: 4
DA並無法取代GTP ,只能是萃取GTP優化
DS就是二房東的概念 但是DS的出現演變成
AI不一定要軍備競賽 低成本也能優化59F 04/30 23:23
→ iiverson649: 只有神知道股市為什麼跌 不要自己掰理由63F 04/30 23:29
噓 strlen: 不重要 現在都看糞川一句話64F 04/30 23:32
→ shiyangfoo: 有一隻美股專門在防DS蒸餾ㄉ65F 04/30 23:40
噓 howzming: 蒸餾也是技術，你以為跟製酒一樣簡單？66F 04/30 23:42
→ b9513227: DS現在跟屎一樣
不但速度慢 回的答案還是沒用的67F 04/30 23:55
推 seemoon2000: 主要是 成本沒有想像中低而已 效率已經跟不上其他69F 04/30 23:58
推 CTHsieh: Deepseek有開放蒸餾過的小模型。蒸餾是用於產生小模型用於邊緣運算。
DeekSeek是利用其它大語言模型產生訓練資料。70F 04/30 23:59
推 jamesho8743: 千問還比ds強73F 05/01 00:42
推 TameFoxx: 開源模型其實會更好被蒸餾
搞不好千問才是最大受害者
但不管怎麼說 在這樣的環境下 中國模型新創卻沒有多起來 代表DS顯然就是偷買了很多GPU
按照DS說的那種成本 加上現在蒸餾技術與開源資料集照理說應該要更捲才對 畢竟DS說600萬鎂
至於API的價格 DS能這麼低主要還是靠Token限制
其次就是 他提供服務也不需要賺錢 能賺到Data更重要74F 05/01 00:49
推 cdcardabc: 就是啊 yt很多人在講 就中吹整天說沒抄襲 笑死82F 05/01 01:03
→ ffaatt: ds 影響利潤 怎麼會沒影響股市83F 05/01 01:10
→ jo4: 隨便 反正現在過渡期 最後只有一個贏的 用贏的就是84F 05/01 01:19
噓 hsu0612: 假議題85F 05/01 01:36
推 nfsong: Llama con 2005 回到影片  Satya 真的全力輸出阿
2025  這個影片 含金量真的高!!!
他們已經想打破邊界了
重構linux kernel , 把word excel powerpoint整合過去的  萬年遺毒  現在已經不用考慮沿革
讓ai 繼續疊代下去  再大的專案也不怕86F 05/01 01:50
推 s213092921: 如果DS是蒸餾的，還能贏過GPT老師就講不通了
DS開源週發布的論文也都是ClosedAI想不到的，也被各大機構驗證確實有效
最後中國六大開源模型圍毆ClosedAI的態勢已成，奧特曼準備打包回家了92F 05/01 01:58
推 nfsong: Satya 已經在用AI suite agents
https://cloud.google.com/blog
真的要追一下 各大廠的blog
大象真的要起飛
現在  是模型協同合作的鳴槍起跑
你有新的專業模型  就加入MCP
大模型主要賽道 已經沒人了
現在就是  比如何整合專業模型  然後開始賣錢
譬如 房地產AI仲介
這一兩年  就是成千上萬的專業模型開始廝殺97F 05/01 02:01
Google Cloud Blog | News, Features and Announcements
[圖]
Official news, features and announcements for all Google Cloud products including Google Cloud Platform, Workspace, and much more. ...

 
→ strlen: 回家勒 等你會生吉卜力再來 笑死107F 05/01 02:16
推 gary82gary: 但最近使用，程式deep寫比較好108F 05/01 02:26
→ psion: googl不是還上了個A2A?
現在大多是搞推理109F 05/01 03:07
推 jimhall: meta就是靠不用錢的用戶個資發大財的啊111F 05/01 03:41
→ laechan: 網路梗圖 https://i.imgur.com/IK2P8od.jpeg112F 05/01 04:36
[圖]
→ breacal: https://i.imgur.com/A0T1Snp.jpeg113F 05/01 04:39
[圖]
→ q09701023: 那時候不是就說是蒸餾了114F 05/01 05:30
推 ImHoluCan: 叫deepseek R2 來免費生成吉卜力，結果連吉卜力都生成不了，根本看破手腳115F 05/01 05:50
→ observer0117: 還在deepseek.. 現在最夯的是阿里巴巴的qwen3117F 05/01 06:49
推 lain2002: 其實大家都在蒸餾, 自己蒸餾自己爭議比較小罷了118F 05/01 07:42
→ NEWinx: 就空軍拿來炒作跟小粉紅在吹而已，後來發現DS跟ChatGPT比，大概就幼兒園生比大學生，現在沒人吹了119F 05/01 07:55
推 EKman: 台灣的人才都在ptt上分析國際局勢，沒時間研發軟體啦121F 05/01 08:12
推 fukku100: 我就問除了OpenAI 和 Gemini 有誰沒在蒸餾別人模型的123F 05/01 08:23
推 fastsheep: 人家都開源了 還在問是不是125F 05/01 08:58
推 NetsFan: OpenAI沒開源怎麼蒸餾？付費蒸餾？OpenAI沒提告也沒拿出證據。重點是DS用創新方法降低算力需求是事實，而且用他的模型蒸餾出來，反而更好用
DS又開源又寫論文，啊OpenAI咧？
https://youtu.be/5RuqY1VQEE8
反正openAI多花錢買的算力拿去畫吉卜力也差不多啦126F 05/01 08:58
→ Leo4891: 現在已經朝向圖片生成 甚至影片生成了 還在搞蒸餾costdown是在是太落後
不能創造多媒體的模型=糞132F 05/01 09:37
→ ActionII: 最近新出的低設備需求、高推理能力的模型，蠻多都有說是蒸餾來的
*推論135F 05/01 09:47
→ appledick: 不蒸餾怎麼本地跑啦138F 05/01 10:55
噓 freekadze: 說ds寫程式比chatgpt 好的大概沒啥再用139F 05/01 11:02
→ layer0930: 一直提gpt 真的都在看熱鬧..
有在搞開發的都自己下去弄ai了，還在比較deepseekgpt?
有多少RD 感謝 deepseek 做領頭羊 還不知道？140F 05/01 11:08
推 pig6033666: 阮慕驊跟洩精合 古越含8zz是齊名的144F 05/01 12:48
推 thevirus: 你網路是接撥的嗎xd145F 05/01 12:50
→ fgwilliam: 你那邊還來的急，晚點要課關稅了，記得歐印反一146F 05/01 15:15
→ mdkn35: 一個很好控盤的工具147F 05/01 16:32
推 capitalofz: 婊蒸餾沒意義 因為大家都在幹148F 05/01 22:55

--
作者 newuser 的最新發文: