回看板
Disp BBS
作者 attacksoil (第三方程式)
標題 Re: [閒聊] 為什麼開源模型對硬體的要求可以降低
時間 Tue Aug 11 08:15:40 2026

本宅理解是這樣:

1. 模型越大越聰明 模型越小運行越快
但隨著技術進步 小模型也會變聰明

2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術
量化技術也不斷改善

3. 這兩年有一個新技術叫MOE 他原始的意義
其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)
但因為其特性(稀疏) 讓很多採用MOE架構的模型
在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)
所以結果小模型更快 效果更好

4. 但量化其實也會讓模型運行變慢（有點像是要unzip)

5. 然後其實是開源和閉源模型一起進步
只是我們一般用戶只能看到閉源模型尺寸變小

發現首篇好像沒點 補一下

所以結論就是像2樓說的 以後每個人手機都可以養chobits
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.67.11 (臺灣)
※ 作者: attacksoil 2026-08-11 08:15:40
※ 文章代碼(AID): #1gUcckvl (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1786407342.A.E6F.html
※ 同主題文章:
[閒聊] 為什麼開源模型對硬體的要求可以降低
08-11 07:36 cake51640
Re: [閒聊] 為什麼開源模型對硬體的要求可以降低
08-11 08:15 attacksoil
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:18:36
→ skyofme: 因為開源只要有人想做就能做，所以你只關心特定功能，開源的進度可能會比較快
沒開的就只能看維護的人選擇怎麼做1F 08/11 08:20
→ nineflower: 再過5年 手機可能都能安裝大型本地模型了4F 08/11 08:30
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:33:01
→ jakai: 應該說手機上跑的模型會越來越聰明，知識純量還是會受限5F 08/11 08:37
→ error405: 弄出超強大模型 再用它做小模型
Qwen gemma4 還有最近祖克伯出的都是這樣6F 08/11 08:51
推 jupto: 手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在車載或無人機這種無法保證聯網穩定又有即時需求的終端上8F 08/11 08:54
→ error405: 總是有些私人需求 對阿10F 08/11 08:57
→ nineflower: 8F.....你這問題天真到不知道該如何回答11F 08/11 09:00
→ jupto: 我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提供線上的高隱私模型12F 08/11 09:01
→ skyofme: 連回自家本地比較合理就是了14F 08/11 09:01
→ nineflower: 你這問題把手機換成電腦就能得到答案了15F 08/11 09:02
→ skyofme: 真的能在手機本地部署大概也割了蠻多能力的
線上服務目前就一個問題你有沒有比較敏感的需求16F 08/11 09:02
→ labbat: 手機AI修圖已經落後了，影片銳利化也是，現在是AI助理18F 08/11 09:05
推 nineflower: 至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任意漲價 想了就可怕19F 08/11 09:06
→ skyofme: 不討論犯刑法的，有版權議題的就很難保證穩定21F 08/11 09:06
→ jupto: 就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊的安全 因為這個需求去閹割性能不划算22F 08/11 09:08
推 kalen123: 你手機不發展本地模型，在攝影、拍照、翻譯等對即時性要求極高的需求時要怎辦？你等的起那幾秒？在網路未普及的國家、或根本沒訊號，或因為人太多網路壅擠的地區怎辦？24F 08/11 09:08
→ jupto: 本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求你拼不過那些巨頭28F 08/11 09:12
→ qss05: 手機還是先解決電池的問題吧，還沒用模型就已經不夠用了，一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模型，幹什麼都像玩手遊的，能用半天就偷笑了31F 08/11 09:16
→ skyofme: 只能說面向很多，需求也很多34F 08/11 09:18
→ qss05: 而且你跑本地更吃更新跟廠商優化，以後小牌又要死一遍，大牌搞不好都收訂閱費35F 08/11 09:18
→ jupto: 攝影、拍照、翻譯這種早就有堪用的解方 發展本地AI模型完全就是順便買噱頭而已37F 08/11 09:19

--
作者 attacksoil 的最新發文:
點此顯示更多發文記錄