回看板
Disp BBS
作者 LDPC (Channel Coding)
標題 Re: [心得] AI需求是供應商精心設計好的套路
時間 Sun Mar 22 09:31:29 2026

有啊 你這個方向請參照"垂直整合AI" 和關鍵字Orchestration Layer
白話點就是agent + orchestration + protocol

MCP這個協定很快就會拓展成 Ai agent (Cloud) <---Protocol--> Ai agent (local)協作
現在大廠 狗家和其他家都在搞protocol如何讓本地雲端去溝通其他agent

你也可以參照Fireworks AI這家公司 他們有在做這類小模型優化
創辦人是一票meta 開發pytorch的人 他們擁有pytorch優化的秘密技術
因此他們可以幫忙打造這些本地端優化 適用於以後系統協作

現在一堆垂直AI公司整合就是這樣幹....2028-2030 絕對會有大量失業潮
多虧上面這些現在瘋狂發展的 天網也大概快出現

--
然後老黃想得更遠 所以提了AI五層蛋糕論 2026捲的速度已經讓我快吐了...



※ 引述《cosmo7897 (普萊兒)》之銘言：
: 最近在想一個跟原po類似的問題
: 剛好也跟 AI 討論了一陣子，整理成一些自己的觀察
: 先拋結論：
: 這不太像什麼已經被設計好的套路，比較像是「科技樹還沒點到那裡」
: 目前 AI 發展其實有兩條很明顯的趨勢在同時發生：
: 一個是大模型持續變強，但邊際效益開始下降
: 模型變大還是會變強，但提升的幅度，跟投入的算力、成本相比，沒有以前那麼划算
: 另一個是小模型越來越強
: 透過 distillation、quantization，還有針對特定任務優化
: 小模型其實已經可以 cover 很多實用場景
: 所以就出現一個有趣的可能性：
: 未來「訓練大模型」這件事，可能還是只會集中在少數幾間大公司手上
: 但「推理」這件事，不一定需要一直依賴超大模型
: 有沒有可能變成 把任務拆開，交給多個小模型，在不同裝置上協作完成？
: 這個概念其實有點像公司運作：
: 公司不會全部都請通才，而是不同領域的專才組成不同 team，一起把事情完成
: 對應到模型也是一樣：
: 現在的大模型，其實有點像把各種能力（語言、邏輯、知識）全部塞在一起
: 但理論上，這些能力是可以被拆分、模組化的
: 問題就出在一個關鍵點：latency（延遲）
: 如果是一個大模型，你問問題，它可以一次 forward 就給答案
: 但如果是多個小模型協作，就會變成：
: 模型 A → 模型 B → 模型 C
: 中間需要傳遞資訊、同步狀態，甚至「討論」
: 這個過程的延遲，如果太高，就完全不可行
: 所以我現在的理解是：
: 未來架構會不會改變，關鍵不在模型大小，而在 latency 能不能壓下來
: 如果有一天：
: - 裝置間通訊延遲大幅下降（硬體 / network）
: - 模型之間的協作機制變成熟（software / protocol）
: 那多小模型協作，才有可能真的落地
: 到那個時候，整個生態可能會有一些變化：
: - GPU / memory 還是很重要，但需求不一定是「無限膨脹」
: - 能源問題也可能被部分緩解（因為計算被分散）
: - 邊緣裝置（手機、桌機、筆電、車機、甚至穿戴裝置）的算力不再閒置
: 現在其實是：
: 我們在用雲端 server 跑 AI，
: 但身邊一堆裝置的算力都是閒置的
: 未來有沒有可能變成：
: 這些裝置一起參與推理，變成一種分散式 AI？
: 當然，這條路現在還卡在 latency、穩定性、還有系統複雜度，但我相信已經有人在研究了
: 所以短期內，大模型 + 雲端還是主流
: 但如果這些問題被解掉，現在這種「集中式算力 + 超大模型」的模式，未必是唯一解
: 大概就是這樣，算是一點還沒成熟的想法，拋出來看看大家怎麼想

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 作者: LDPC 2026-03-22 09:31:29
※ 文章代碼(AID): #1flqPphj (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774143091.A.AED.html
※ 同主題文章:
[心得] AI需求是供應商精心設計好的套路
03-22 01:32 teddy98
Re: [心得] AI需求是供應商精心設計好的套路
03-22 08:59 cosmo7897
Re: [心得] AI需求是供應商精心設計好的套路
03-22 09:31 LDPC
Re: [心得] AI需求是供應商精心設計好的套路
03-22 09:40 devidevi
Re: [心得] AI需求是供應商精心設計好的套路
03-22 10:12 airva
→ kitune: 小AI問大AI 我怕了1F 03/22 09:43
→ layer0930: 這段目前起來的機率很低，不用想了
最多就是demo 等級2F 03/22 09:45
推 cphe: 失業潮會更快來到，現在各大公司都已經導入AI甚至把使用AI列為KPI之一，加上巨頭們可怕的支本支出，裁員省錢會先發生4F 03/22 09:50
推 devilsabre: 推7F 03/22 09:50
推 eie818: 讚8F 03/22 09:52
→ bnn: 你已經是個成熟的AI的 該學會向大AI問問題自己修正9F 03/22 09:54
推 NicholasTse3: 所以要買爆科技股對沖失業10F 03/22 10:25
推 darkangel119: 進展到叫小AI 問其他大AI 誇張
跟人類一樣 你不懂的話 去問你的學長學姐啊11F 03/22 11:06
→ HiuAnOP: Ai：不會是不會問學長喔？13F 03/22 11:10
推 sdbb: 謝謝14F 03/22 11:14
推 darkangel119: 人類真的每個人都要當慣老闆出一張嘴15F 03/22 11:21

--
作者 LDPC 的最新發文:
點此顯示更多發文記錄