※ 本文轉寄自 ptt.cc 更新時間: 2026-07-28 11:46:42
看板 Stock
作者 標題 [新聞] Kimi K3開放日:模型權重、技術報告
時間 Tue Jul 28 09:23:18 2026
原文標題: Kimi K3開放日:模型權重、技術報告和關鍵Infra技術同步開放
原文連結:https://news.futunn.com/hk/post/76650176/
發布時間: 2026/07/28
記者署名:stephen (文章來源為月之暗面)
原文內容:
今天是 Kimi K3 開放日,我們發佈 Kimi K3 的模型權重、技術報告,並開源支撐 Kimi K3
模型訓練的關鍵 Infra 技術:MoonEP、FlashKDA和AgentEnv。希望以此加速前沿智能的部
署與普及,促進 AGI 研究。
模型訓練的關鍵 Infra 技術:MoonEP、FlashKDA和AgentEnv。希望以此加速前沿智能的部
署與普及,促進 AGI 研究。
Kimi K3 是我們能力最強的模型:這是一個擁有 2.8 萬億參數的混合專家(MoE)模型,具
備原生視覺理解能力,並支持 100 萬 token 的上下文窗口。
Kimi K3 參數規模是 Kimi K2.5 的 3 倍左右,但是規模化並不僅僅是參數的堆疊,在並不
寬裕的算力條件下,我們憑藉 Kimi Delta Attention、Attention Residuals 以及 MoonEP
等一系列技術創新,規模化效率提升了 2.5 倍(即在算力最優意義下,單位算力產出智能
約等於原來 2.5 倍)。
寬裕的算力條件下,我們憑藉 Kimi Delta Attention、Attention Residuals 以及 MoonEP
等一系列技術創新,規模化效率提升了 2.5 倍(即在算力最優意義下,單位算力產出智能
約等於原來 2.5 倍)。
現在,每個人都可以下載並部署 Kimi K3 模型——無論是用於內部研發,還是嵌入到面向
終端用戶的產品中,均可自由使用(其他使用情形,詳見Kimi K3 許可證)。
今天,與 Kimi K3 模型權重一起公開的,還有我們的模型訓練方法——Kimi K3 技術報告
已同步上線。
從技術報告中,你可以了解這些技術細節:
KDA + AttnRes:以 3:1 比例混合 KDA 與 Gated MLA,實現高效長上下文建模,並通過塊
級注意力殘差增強跨層信息流動。
Stable LatentMoE:每個 token 從 896 個路由專家中激活 16 個,並通過 SiTU-GLU 與 Q
uantile Balancing 保持極高稀疏度下的訓練穩定。
MoonViT-V2:視覺編碼器從零開始使用 next-token prediction 訓練,無需對比預訓練,
在達到 SigLIP 初始化基線效果的同時獲得更穩定的優化過程。
後訓練與評估:在通用推理、通用 Agent 和編程 Agent 三大領域進行大規模任務合成,百
萬 token 上下文的強化學習基建,近 20 個內部評測集的完整評估結果。
以上幾點只是概覽,詳細論述與消融實驗,都已在技術報告中展開。
模型能力背後,離不開訓練系統,即 Infra 基礎設施層的穩定支撐。今天,我們向大家介
紹支撐 Kimi K3 訓練的三項 Infra 技術:MoonEP、FlashKDA 和 AgentEnv,覆蓋從高性能
通信、高性能算子到分佈式 RL 環境的關鍵鏈路。其中 FlashKDA 此前已開源,MoonEP 和
AgentEnv 則隨本次發佈正式開源。
紹支撐 Kimi K3 訓練的三項 Infra 技術:MoonEP、FlashKDA 和 AgentEnv,覆蓋從高性能
通信、高性能算子到分佈式 RL 環境的關鍵鏈路。其中 FlashKDA 此前已開源,MoonEP 和
AgentEnv 則隨本次發佈正式開源。
MoonEP:MoonEP 是我們爲超大的細粒度 MoE 打造的高性能通信庫,讓專家並行(expert-p
arallel)的通信在不均衡的情況下仍然實現極致效率。
FlashKDA:FlashKDA 是我們實現的 Kimi Delta Attention 高性能算子(kernel)。在英
偉達 H20 上,相比 flash-linear-attention 基線,它的 prefill 速度提升 1.72-2.22
倍,可以直接作爲 flash-linear-attention 的替換後端。
偉達 H20 上,相比 flash-linear-attention 基線,它的 prefill 速度提升 1.72-2.22
倍,可以直接作爲 flash-linear-attention 的替換後端。
AgentEnv:AgentENV 是我們與 KVCache.ai 合作開發的沙箱系統,用於大規模運行 Agent
環境。它爲 Kimi K3 的後訓練提供高保真、強隔離沙箱,靈活支持快速快照、恢復和分叉
(fork)等,可以應對大規模並行的 Agent 工作流與訓練任務。
環境。它爲 Kimi K3 的後訓練提供高保真、強隔離沙箱,靈活支持快速快照、恢復和分叉
(fork)等,可以應對大規模並行的 Agent 工作流與訓練任務。
這三項技術是支撐 Kimi K3 訓練效率與穩定性的關鍵。現在將它們開放出來,希望也能爲
你訓練下一代模型提供幫助。
我們堅信開放權重模型的價值。它們能降低獲取智能的門檻,推動創新,並賦予用戶對數據
更大的控制權、隱私保護和所有權。在過去幾周裏,我們很高興聽到了許多來自 AI 社區,
以及與我們有着共同願景的技術領袖的支持聲音。
更大的控制權、隱私保護和所有權。在過去幾周裏,我們很高興聽到了許多來自 AI 社區,
以及與我們有着共同願景的技術領袖的支持聲音。
我們相信,對於 AGI 這樣具有深遠影響的技術,一個廣泛、開放的生態系統是最適合承載
它的土壤。爲此,我們將繼續貢獻自己的力量。
心得/評論:
Kimi K3今天正式開源,已經有多家服務商上線了
只要近乎Sonnet的價格就能享受部分跑分超越Fable的模型
不想花錢的也沒關係,只要有6TB記憶體你也能在家跑
記憶體又要不夠了...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.17.89 (臺灣)
※ 作者: h0103661 2026-07-28 09:23:18
※ 文章代碼(AID): #1gQ0I8sM (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1785201800.A.D96.html
推 : 我前天看原來已經用中國門號註冊Kimi了,舒服1F 07/28 09:24
→ : 看有沒有機會帶起AIPC了~2F 07/28 09:24
→ : 捲到大家沒錢賺,消費者的勝利,股民的悲劇3F 07/28 09:26
推 : 下面一定有人造謠是偷Fable 5 XDDD4F 07/28 09:28
→ : 所以現在是在跌KIMI 嗎?5F 07/28 09:29
推 : 首先,你要有GB200或GB300機櫃6F 07/28 09:30
推 : 太多人註冊使用 算力不夠 現在KIMI已經停止新戶註冊7F 07/28 09:30
推 : 跑得動嗎?8F 07/28 09:30
噓 : 每個人都可以下載並部署???9F 07/28 09:31
推 : 要有80張RTX5090顯卡才能順順的跑啊...10F 07/28 09:31
噓 : 老黃有利 大科技有利 LLM不利11F 07/28 09:31
→ : 你也要有足夠鏟子才跑的了12F 07/28 09:33
推 : 為了保障之前已經註冊過的舊會員繼續使用 除非後面13F 07/28 09:33
推 : 只要用家中人人都有的GB300+6T記憶體都能跑 美國完14F 07/28 09:34
→ : 蛋了
→ : 蛋了
推 : 真的會有腦洞大開的傻子相信蒸餾Fable 5嗎16F 07/28 09:34
→ : 這種東西就自嗨宣傳的 實際上一般用戶根本不可能自17F 07/28 09:34
→ : 己跑
→ : 己跑
→ : 設備商笑呵呵19F 07/28 09:34
→ : 添購新的硬體設備 擴充算力極限 新用戶註冊可能要等20F 07/28 09:35
推 : 讚讚讚21F 07/28 09:35
推 : 老黃利多22F 07/28 09:35
推 : 6T記憶體XDDD23F 07/28 09:35
推 : 訓練方法也開源? 這麼佛?24F 07/28 09:35
→ : 支那最會的就是這個 宣傳放大優點 但但書完全不提25F 07/28 09:36
→ : 或是留在備註 不仔細了解的人看到標題就被騙了
→ : 或是留在備註 不仔細了解的人看到標題就被騙了
噓 : 中國人自己用就好 沒人在乎的東西27F 07/28 09:37
→ : 感覺很厲害28F 07/28 09:37
推 : 花個6百萬買記憶體就能跑了喔29F 07/28 09:37
推 : 等看看有沒有量化模型30F 07/28 09:37
→ : 樓下先用31F 07/28 09:38
推 : 真的,拜託歐美不要來用Kimi,回去用貴鬆鬆的A畜或32F 07/28 09:39
→ : 歐噴漿吧
→ : 歐噴漿吧
→ : 有足夠鏟子的應該都去當AI中轉站賺錢了34F 07/28 09:40
推 : GB300+6T記憶體還有一個發電廠 不會有人沒有吧35F 07/28 09:40
噓 : 6T?零售價看來還要繼續漲 哈哈哈36F 07/28 09:42
推 : 誰有GB300+6T 都可以參加慈善AI大賽37F 07/28 09:43
推 : 又有來裝懂的 這種東西本來就不是給個人跑的38F 07/28 09:45
→ : 這權重開放本來就是給企業自己訓練模型的39F 07/28 09:45
推 : 蒸餾啦 一定有問題 開始哭40F 07/28 09:46
→ : 光是KIMI的Model商變多 御三家的Token價就拉不起來41F 07/28 09:46
→ : 無論如何都是對消費者有利
→ : 無論如何都是對消費者有利
推 : 6TB就能佈建 這對企業很簡單吧43F 07/28 09:47
推 : 一般用戶deepseek就夠用,企業買幾十張顯卡,幾台AI44F 07/28 09:48
→ : server自己架起來跑,有問題嗎?人家就是來讓你美
→ : 國AI賺不了錢的
→ : server自己架起來跑,有問題嗎?人家就是來讓你美
→ : 國AI賺不了錢的
推 : 靠北 講的好像6TB很便宜似的...47F 07/28 09:49
→ : 錢不夠還有GLM Deepseek Qwen48F 07/28 09:51
推 : 智譜現在股價-18%49F 07/28 09:51
→ : 個人能跑的Qwen3.6 27B 35B衍生模型 也是有點生產力50F 07/28 09:53
推 : 文組真的不懂裝懂 K3比GPT 5.6還貴51F 07/28 09:53
→ : 好歹也上網查查 token效率 唉 算了 講了也是白講
→ : 好歹也上網查查 token效率 唉 算了 講了也是白講
推 : 樓上說的是真的53F 07/28 09:58
推 : 美國巨頭股價崩54F 07/28 09:58
推 : 抓到 KIMI就是崩盤元凶55F 07/28 10:01
推 : 晚上公布財報,看到資本支出,續崩56F 07/28 10:02
→ : 一堆薩酷拉57F 07/28 10:03
推 : 這根AIpc沒關聯 要用在普通電腦就是35b上下 這種就58F 07/28 10:05
→ : 是server ai
→ : 這種模型確實對大家好 幫忙壓openai anthropic價
→ : 是server ai
→ : 這種模型確實對大家好 幫忙壓openai anthropic價
推 : 1t以上開源早就有61F 07/28 10:07
推 : 只要有6TB記憶體 XDD62F 07/28 10:10
→ : Kimi3比GPT5.6還貴應該是誤解或過時資訊.63F 07/28 10:10
推 : 別在deepseek了 哪個超爛 明明參數超大在唬洨的 效64F 07/28 10:14
→ : 能也差
→ : 能也差
推 : DeepSeek便宜 用龍蝦Hermes跑流程工作 D4 Flash夠用66F 07/28 10:15
→ : 沒有過時...也沒有誤解 你自己去看token效率67F 07/28 10:15
→ : K3 token效率極差 同一個提示詞是5.6 2倍
→ : 即使每百萬token看起來很便宜 但每次都是2倍以上用
→ : 量 是哪裡便宜?反正你各位只會吹 用都沒用過對吧
→ : K3 token效率極差 同一個提示詞是5.6 2倍
→ : 即使每百萬token看起來很便宜 但每次都是2倍以上用
→ : 量 是哪裡便宜?反正你各位只會吹 用都沒用過對吧
→ : 市場遲早走到"便宜夠用" 寫Code也不會一直用Fable71F 07/28 10:17
→ : 我就是實際訂閱用戶 K3官方是超級慢超級卡 根本無法72F 07/28 10:17
推 : 正式進入智能人的世界!73F 07/28 10:17
→ : 6T記憶體?74F 07/28 10:17
→ : 做任何事 因為他們根本沒算力75F 07/28 10:17
→ : 接API已經很多評測了 K3就是比5.6貴
→ : 接API已經很多評測了 K3就是比5.6貴
推 : 自己本地部署對企業來說還是比買closaAI划算77F 07/28 10:21
推 : KIMI開放之後 Provider變多 算力不足應該會緩解78F 07/28 10:21
推 : 要順跑,gb300要好幾台呢~80F 07/28 10:21
→ : 到底哪個SB說K3比較便宜 肯定沒在用81F 07/28 10:21
→ : 你以為買一台而已喔~嘻嘻82F 07/28 10:22
→ : 以他的效率Provider也不可能開太便宜 不然虧死83F 07/28 10:22
→ : 他原本就沒很便宜了,到底在吹什麼84F 07/28 10:22
→ : 同一個提示詞 K3是GPT 5.6的2倍價 還在K3便宜85F 07/28 10:23
推 : 國家級的買家要來買剷子吧 軟體都免費給你了86F 07/28 10:25
推 : 最近FSD也是爆發增長,我自己算還會開車的,也不會87F 07/28 10:26
→ : 亂插或是忽快忽慢,但現在AI場景理解已經比人類還
→ : 快做出決策,而且還是能進步,跟阿發狗一樣好像沒
→ : 什麼上限 有些操作是你事後才發現他已經想到這樣開
→ : 車,這提前彎到中線真的漂亮,就覺得幹好屌
→ : 亂插或是忽快忽慢,但現在AI場景理解已經比人類還
→ : 快做出決策,而且還是能進步,跟阿發狗一樣好像沒
→ : 什麼上限 有些操作是你事後才發現他已經想到這樣開
→ : 車,這提前彎到中線真的漂亮,就覺得幹好屌
噓 : 多蛙壯膽 不認AI沒有護城河92F 07/28 10:26
推 : K3價格跟gpt5.6差不多啦 是Fable5太貴...93F 07/28 10:28
→ : 一樣的提示詞K3用的token量是gpt5.6 Fable5好幾倍
→ : 一樣的提示詞K3用的token量是gpt5.6 Fable5好幾倍
噓 : 每個人都可以下載,但你要有 GB300機櫃95F 07/28 10:30
噓 : 重點是開源!重點是開源!重點是開源!一堆人不懂96F 07/28 10:30
→ : 開源的含金量嗎?
→ : 你沒辦法不代表所有人沒辦法
→ : 開源的含金量嗎?
→ : 你沒辦法不代表所有人沒辦法
噓 : 好了啦, 在泰國訓練的99F 07/28 10:31
→ : 算力弱成這樣,沒幾個月又被前沿扁到媽媽都不認識
→ : 算力弱成這樣,沒幾個月又被前沿扁到媽媽都不認識
推 : 這尺寸的模型 你調用api比較划算了 GB300不要算 你101F 07/28 10:32
→ : 還要電費、建築物租金和冷氣整天吹 維護成本太高了
→ : 還要電費、建築物租金和冷氣整天吹 維護成本太高了
推 : 印象中說要7000萬起跳103F 07/28 10:37
推 : 開源模型重點應該是每人電腦都能跑的尺寸 有巨大突104F 07/28 10:37
→ : 破會是一個重點 之前qwen3.6 27b 35b接近這目標 但
→ : 後來qwen開源的開發人員離開之類 好幾個月沒進展了
→ : 破會是一個重點 之前qwen3.6 27b 35b接近這目標 但
→ : 後來qwen開源的開發人員離開之類 好幾個月沒進展了
推 : str別再吹美國AI多厲害了,大多數企業不需要上帝幫107F 07/28 10:38
→ : 你當客服
→ : 你當客服
推 : 開源重點怎麼會是個人電腦跑啦 這重點都在企業市場109F 07/28 10:42
→ : 好嗎
→ : 好嗎
→ : 在個人電腦跑GPT等級是在做什麼白日夢111F 07/28 10:43
→ : 考慮合規性(金融/軍事/其他敏感行業),一定是放112F 07/28 10:43
→ : 自己家裡,剩下是模型選擇,這又不一定是錢的問題
→ : 自己家裡,剩下是模型選擇,這又不一定是錢的問題
→ : Anthropic自己都出性能差不多但價錢比Fable5砍半的114F 07/28 10:44
推 : 現在買6T的記憶體要多少成本?115F 07/28 10:44
→ : Opus5了,到底誰要用Fable5116F 07/28 10:44
推 : Anthropic OpenAI和川普都表演過了 掐著AI工具不讓117F 07/28 10:51
→ : 你用 反而讓使用者有危機意識
→ : 為了IPO估值演得太過火現在吃屎了
→ : 你用 反而讓使用者有危機意識
→ : 為了IPO估值演得太過火現在吃屎了
推 : 單純是Fable5過度宣傳玩過頭 現在A他們搞到自己120F 07/28 10:53
→ : Opus5有接近的能力 價格只要一半 只被稍微閹割
→ : Opus5有接近的能力 價格只要一半 只被稍微閹割
推 : 「太強不能開放」本來就很可笑 其他人一年內追上122F 07/28 10:56
推 : 怎麼人覺得這東西是給一般個人跑的...123F 07/28 11:08
推 : 反觀124F 07/28 11:09
推 : 說開放太危險?人在地上吹,牛在天上飛125F 07/28 11:25
→ : 不能開放,會世界末日?笑死我了
→ : 不能開放,會世界末日?笑死我了
→ : 讚 反觀民主的美國127F 07/28 11:39
→ : 這個開源是要伺服器才能跑的,非個人向128F 07/28 11:40
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 29
回列表(←)
分享