※ 本文轉寄自 ptt.cc 更新時間: 2026-11-09 07:42:16
看板 Stock
作者 標題 [新聞] 蘋果公開人形機器人「大腦」HALO！搭載宇
時間 Sun Nov 8 22:44:21 2026
原文標題：
蘋果公開人形機器人「大腦」HALO！搭載宇樹G1測試
陌生環境任務成功率達91%
原文連結：
https://reurl.cc/Vn907R
蘋果公開人形機器人「大腦」HALO！搭載宇樹G1測試 陌生環境任務成功率達91% | 鉅亨網 蘋果研究團隊公開人形機器人自主控制系統HALO，讓G1可在陌生環境依指令完成推箱、坐椅、跨障礙等任務。 HALO採三層架構，結合VLM、動作生成與追蹤；測試6個未掃描環境360次，單項任務成功率91%。 複合任務成功率降至70%，最難連續任務僅50%；系統仍仰賴人工設計，觸覺感知是後 ...
發布時間：
2026-11-08 20:00
記者署名：
鉅亨網編譯 莊閔棻
原文內容：
蘋果(AAPL-US) 研究團隊近日公開人形機器人自主控制系統HALO的最新研究成果，透過視
覺語言模型（VLM）與動作生成技術，讓機器人不只能理解人類指令，還能依據陌生環境
調整動作，自主完成推箱子、坐椅子及穿越障礙物等任務。
覺語言模型（VLM）與動作生成技術，讓機器人不只能理解人類指令，還能依據陌生環境
調整動作，自主完成推箱子、坐椅子及穿越障礙物等任務。
研究團隊近日在預印本平台arXiv發表論文《Perceptive Humanoid Motion from
Simulation》，介紹HALO系統的設計與實驗成果，並將系統部署在宇樹科技(688836-CN)
的G1人形機器人上進行驗證。
研究重點在於讓機器人將模擬環境中學到的動作，應用於未曾事先掃描或建圖的真實空間
，降低機器人對特定環境的依賴。
根據研究團隊公開的展示影片，搭載HALO的G1機器人能依照指令推動箱子、跟隨人類、坐
上椅子，也能側身穿過半開的門，或彎腰、爬行通過桌子下方。這些動作不只是預先設定
好的路徑，還涉及環境辨識、空間判斷，以及依照障礙物調整身體姿態。
上椅子，也能側身穿過半開的門，或彎腰、爬行通過桌子下方。這些動作不只是預先設定
好的路徑，還涉及環境辨識、空間判斷，以及依照障礙物調整身體姿態。
HALO採三層架構控制機器人 從理解指令到執行動作
HALO的核心設計是將機器人的控制流程拆分為任務編排、動作生成與動作追蹤三個層級，
分別處理指令理解、全身動作規劃及實際關節控制。
最上層的任務編排模組採用視覺語言模型，預設使用阿里巴巴(09988-HK) 的
Qwen3.6-35B-A3B，並在機器人搭載的Mac mini上本地運行，無須連接網路即可處理任務
。系統也支援透過API呼叫雲端模型，以取得更強的推理與規劃能力。
這個模組負責理解人類指令，並結合機器人視角的影像判斷如何完成任務。例如，當收到
「坐下」的指令時，機器人必須先辨識周遭環境，決定適合坐下的位置；若接獲「坐到椅
子上」的指令，但前往椅子的路徑受到桌子阻擋，就必須將任務拆解為彎腰通過障礙、接
近椅子及坐下等連續動作。
「坐下」的指令時，機器人必須先辨識周遭環境，決定適合坐下的位置；若接獲「坐到椅
子上」的指令，但前往椅子的路徑受到桌子阻擋，就必須將任務拆解為彎腰通過障礙、接
近椅子及坐下等連續動作。
任務執行期間，模組也會持續透過機器人視角的影片確認動作是否成功，再決定推進下一
個步驟或重新嘗試，每次僅向下一層下達一項明確的子任務。
中間層的動作生成模組則使用另一款模型Qwen3.5-2B，搭配負責生成動作的DiT解碼器，
根據環境畫面與當前任務，規劃未來約5秒的全身動作。系統每秒重新規劃約3次，讓機器
人能隨著環境變化持續修正動作。
根據環境畫面與當前任務，規劃未來約5秒的全身動作。系統每秒重新規劃約3次，讓機器
人能隨著環境變化持續修正動作。
最底層的動作追蹤器經過強化學習與策略蒸餾等程序訓練，以每秒50次的頻率運作，結合
深度影像與機器人自身狀態，將上層規劃的動作轉換為實際關節控制指令。
6種陌生環境測試成功率91% 複合任務仍有改善空間
在實際測試方面，研究團隊選擇6個未經事先掃描或建圖的真實環境，進行360次單項任務
測試，平均成功率達91%。
不過，當任務涉及多個連續動作時，系統的表現仍有落差。研究團隊另外在單一真實環境
中，針對3種複合任務各進行10次測試，平均成功率為70%。
其中，「彎腰通過障礙物、走向目標、推動箱子」這項連續任務的成功率僅50%，顯示機
器人處理多步驟動作時仍面臨挑戰。
為了訓練機器人適應不同環境，研究團隊建立一套大規模合成資料生成流程，在1,000個
程式生成的模擬家庭環境中，製作約300小時的主要訓練資料，將機器人看到的畫面、接
收的指令及對應動作配對。
程式生成的模擬家庭環境中，製作約300小時的主要訓練資料，將機器人看到的畫面、接
收的指令及對應動作配對。
資料生成流程分為幾個階段：首先依照文字指令產生動作序列，再將動作放入虛擬房間，
最後透過模擬工具渲染機器人執行任務時看到的畫面。
以「坐到扶手椅上」為例，系統會先將任務拆解為向前行走、轉身及坐下等動作片段，再
由動作生成模型根據文字提示、路徑點與關鍵姿態產生動作序列，並透過幾何檢查篩選結
果，降低腳部滑動或身體穿入地面等不合理動作。
由動作生成模型根據文字提示、路徑點與關鍵姿態產生動作序列，並透過幾何檢查篩選結
果，降低腳部滑動或身體穿入地面等不合理動作。
接著，研究團隊將動作安排在不同的虛擬房間，檢查機器人與家具之間的位置關係，排除
可能發生碰撞的配置，再渲染機器人視角的畫面。訓練過程也會調整光線、色調及影像模
糊程度，增加視覺資料的多樣性，讓同一套流程能產生完整的指令、影像與全身動作訓練
資料。
可能發生碰撞的配置，再渲染機器人視角的畫面。訓練過程也會調整光線、色調及影像模
糊程度，增加視覺資料的多樣性，讓同一套流程能產生完整的指令、影像與全身動作訓練
資料。
在運算資源方面，研究團隊使用250張輝達(NVDA-US) H100 GPU，耗時約48小時完
成主要訓練資料的合成；動作生成器採用模仿學習訓練，使用64張B200 GPU；動作追蹤器
則透過強化學習、策略蒸餾等方式訓練，使用4張H100 GPU。
仍仰賴人工設計 觸覺感知成下一步改進方向
不過，HALO目前仍未完全擺脫人工參與。研究團隊指出，新增物理任務時，仍須
由人員編寫提示詞、設計動作關鍵影格，部分動作也需要使用人類影片或動作捕捉
素材。
此外，現階段系統主要依賴視覺感知，尚難以直接掌握接觸狀態。當物體離開攝影機視野
或遭到遮擋時，涉及較多身體接觸的任務，執行表現便會下降。
研究團隊將觸覺感知列為後續改進方向，希望進一步提升機器人在複雜環境中的動作控制
能力。
心得/評論：
這運算資源要用到 H100*250張，B200*64張，H100*4張!
所以妳各位遊戲顯卡還要等等(誤)
然後，HALO現階段要新增物理任務還需要妳各位的提示詞~
我知道你們都想打甚麼提示詞!
看樣子Apple是要跟中國合作機器人業務了?
不知道跟Optimus比誰會有機會先量產~
總之我們還是先存錢吧...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.176.2.123 (臺灣)
※ 作者: steveisaman 2026-11-08 22:44:21
※ 文章代碼(AID): #1gy8h935 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1794149065.A.0C5.html
推 : 那Cortana要出來了嗎?1F 11/08 22:46
推 : 人人都是士官長嗎2F 11/08 22:47
→ : 微軟表示：3F 11/08 22:48
推 : 蘋果你變了4F 11/08 22:48
→ : Qwen3.6-35B-A3B大腦的機器人，應該還是幼兒吧?5F 11/08 22:48
推 : 看成人形蜈蚣6F 11/08 22:49
推 : 每秒50次在任務執行上可能太刺激了7F 11/08 22:49
→ : 與樹都已經砍半了8F 11/08 22:49
推 : 宇樹XDD9F 11/08 22:50
→ : 掛牌apple的宇樹機器人10F 11/08 22:53
推 : 華西街:蘋果在投資AI!?完蛋了快點砍股票11F 11/08 22:55
推 : Qwen3.5/3.6有那麼厲害12F 11/08 22:57
推 : 早就說連機器人都要靠AI 還有人說AI沒救了13F 11/08 22:57
→ : AI就是未來 很明顯的東西，要限制也不可能限制太大
→ : AI就是未來 很明顯的東西，要限制也不可能限制太大
推 : 沒用 好看頭而已15F 11/08 22:58
推 : 機器人需要記憶體16F 11/08 22:58
推 : AI就是大腦 沒大腦怎麼活17F 11/08 22:59
推 : 絕招是噴水18F 11/08 22:59
→ : 阿婆我怕你害機器人收攤19F 11/08 22:59
→ : 士官長!!20F 11/08 22:59
→ : 戶子早就過說蘋果人和安卓人的故事了21F 11/08 22:59
推 : halo!!! 很好玩22F 11/08 23:01
→ : 機器人感覺很適合先去做整理飯店
→ : 機器人感覺很適合先去做整理飯店
→ : su22崩潰QQ24F 11/08 23:02
→ : 華西街想必看到了 蘋果偷偷AI要被殺無赦了25F 11/08 23:03
→ : 樓上你，確實蘋果投資某些東西都是倒的機率高26F 11/08 23:04
→ : 那台車沒了
→ : 那台車沒了
→ : 他不要自己做應該是還好 哈哈28F 11/08 23:05
→ : 感覺機器人最後會跟VR一樣 沒什麼技術突破就沒了29F 11/08 23:05
→ : 那台車好險沒出來，不然多半被中國車嘎死30F 11/08 23:06
→ : 被某些人笑只會後空翻的機器人被apple裝上大腦了31F 11/08 23:06
推 : 丸子 機器人完了 阿婆碰什麼 那個就沒戲了32F 11/08 23:10
推 : 蘋果搭載宇樹？？又不叫偷資料了嗎？？便宜的真香~33F 11/08 23:10
推 : 重點是大腦啊 看看大腦是誰的 是割韭菜的宇樹的嗎34F 11/08 23:11
→ : 哈哈
→ : 哈哈
推 : 是那個AI很強DER，還會自己進化遮臉漫畫少女跑的36F 11/08 23:14
→ : =這個大腦是少女
→ : =這個大腦是少女
→ : 搭載宇樹不會把資料傳給中共嗎x38F 11/08 23:19
推 : 到時候會不會台灣不能賣！！39F 11/08 23:19
推 : 宇樹!!40F 11/08 23:20
→ : 這是少女機器人共諜41F 11/08 23:21
推 : Qwen3.5/3.6的CP值蠻高的啊，context window 又夠42F 11/08 23:23
→ : 長的情況下表現比其他小模型更好。認真說，現在市
→ : 佔的小模型都是中國開源模型是主流，computer use
→ : 能力也很夠。用雲端模型還有考慮網路延遲跟工廠各
→ : 種網路通訊意外，而且也沒辦法微調成自己需要的東
→ : 西。
→ : 長的情況下表現比其他小模型更好。認真說，現在市
→ : 佔的小模型都是中國開源模型是主流，computer use
→ : 能力也很夠。用雲端模型還有考慮網路延遲跟工廠各
→ : 種網路通訊意外，而且也沒辦法微調成自己需要的東
→ : 西。
推 : 用對岸的零件嗎？48F 11/08 23:23
推 : 蘋果的最後一戰？49F 11/08 23:25
推 : 隔壁可能兩三年內世界模型就搞出來50F 11/08 23:26
推 : Qwen3.6加上投機解碼外掛跟蘋果晶片優化之前有人測51F 11/08 23:27
→ : 試過可以每秒220token輸出，而且操控機器人也不是
→ : 要他做太多複雜推理的任務，已經蠻夠用的了
→ : 試過可以每秒220token輸出，而且操控機器人也不是
→ : 要他做太多複雜推理的任務，已經蠻夠用的了
→ : 真是唏噓，以前機器人可是日本的天下，默默的就消失54F 11/08 23:28
→ : 了
→ : 了
推 : 幹 亞光該噴了吧= =56F 11/08 23:29
推 : 裡面串的不都是中國模型57F 11/08 23:29
→ : 只是蘋果串的然後取名？
→ : 只是蘋果串的然後取名？
推 : 日本還有鋼彈沒有從地底下開出來好嗎59F 11/08 23:31
噓 : 一般人不會買60F 11/08 23:32
推 : 看到維尼會主動敬禮61F 11/08 23:39
推 : 士官長！？62F 11/08 23:39
推 : 早就過了參數越大越好的年代了...63F 11/08 23:45
→ : 蘋果有比CCW懂機器人嗎?? 沒用的東西64F 11/08 23:50
推 : 蘋果用中國的東西 川普不用查一下嗎65F 11/08 23:54
噓 : 中美合作真棒，踢掉偷晶片小島就對了66F 11/09 00:00
推 : 哈哈，用宇樹而不是特的Optimus67F 11/09 00:04
推 : 只有民主黨這些小腦袋會阻擋AI68F 11/09 00:05
→ : 民主黨跟當年拆火車鐵軌那群人一樣的智商
→ : 民主黨跟當年拆火車鐵軌那群人一樣的智商
→ : 我猜100萬起，皮膚功能+20萬70F 11/09 00:06
→ : 一百多年前火車被形容成黑色的惡魔，跟現在妖魔化AI71F 11/09 00:08
→ : 數據中心是一樣的行為，民智未開的表現
→ : 數據中心是一樣的行為，民智未開的表現
→ : 宇樹科技73F 11/09 00:09
推 : 看看折疊，這次大家的機器人都上市之後 是不是要再74F 11/09 00:10
→ : 等20年才會有蘋果機器人?
→ : 等20年才會有蘋果機器人?
推 : 量產士官長就能執行太空任務了76F 11/09 00:12
→ : 大型工業垃圾77F 11/09 00:21
推 : 中國機器人本來就領先美帝，Optimus是甚麼拉基78F 11/09 00:25
→ : 機器人現在就是學習訓練很難，距離商用還有一段路
→ : 機器人現在就是學習訓練很難，距離商用還有一段路
→ : 蘋果最好是不要公開成果以免出洋相80F 11/09 00:37
→ : 蘋果最近出的東西都爛爆了
→ : 蘋果最近出的東西都爛爆了
→ : 笑死，左岸不是特濕喇...82F 11/09 00:38
噓 : 看了相片就知道這機器人完蛋了。83F 11/09 00:40
→ : 老實說 蘋果當年連自駕車都弄不出來 搞人形機器人84F 11/09 00:42
→ : 那個難度高好幾個數量級的 不看好
→ : 那個難度高好幾個數量級的 不看好
推 : 中國腦？86F 11/09 00:49
→ : 91% 3任務70% 離實用還有距離 看半年後有沒有更好87F 11/09 00:51
推 : 所以世界到底要不要發展ai?88F 11/09 00:56
→ : 你列的那個是訓練算力 不是本地運行算力89F 11/09 01:00
→ : 本地運行有說 Mac mini上本地運行，無須連接網路即
→ : 處理任務
→ : 本地運行有說 Mac mini上本地運行，無須連接網路即
→ : 處理任務
→ : 不是有人說具身機器人沒有用嗎？怎麼用宇樹的呀？92F 11/09 01:08
推 : 中國機器人架構早就領先全球你不拿他開發難道你還等93F 11/09 01:21
→ : 馬斯克收割嗎
→ : 還是你要等中國廠商自己玩出花樣然後只能拿他們方案
→ : 魔改
→ : 馬斯克收割嗎
→ : 還是你要等中國廠商自己玩出花樣然後只能拿他們方案
→ : 魔改
推 : NV Jetson Thor生態系，台廠供應鏈好像才幾家而已97F 11/09 01:25
推 : 要吵機器人嗎98F 11/09 01:30
推 : NV jetson算力比mac強很多吧
推 : NV jetson算力比mac強很多吧
→ : 特斯拉本來就都玩自己的了怎麼可能還用蘋果的大腦100F 11/09 02:20
推 : 這種訓練資源就可以玩機器人？那馬斯克用十萬張卡練101F 11/09 02:39
→ : 出來的那個看起來真的沒有厲害到哪裡了QQ
→ : 出來的那個看起來真的沒有厲害到哪裡了QQ
推 : 蘋果還在記仇多年前的Halo嗎XD103F 11/09 02:50
→ : NV Jestson耗電量比M系列多 m家晶片在on-device強104F 11/09 02:52
推 : 千問的模型其實還挺好用的105F 11/09 03:05
推 : 小模型上 qwen是最強的106F 11/09 03:11
→ : Vladlen Koltun的org就是個笑話107F 11/09 04:47
→ : 這就是AI 的商業化應用之一108F 11/09 05:25
推 : 魏哲家：中國機器人 跳來跳去沒用109F 11/09 06:09
→ : 果粉家裡要有機器人惹 幸福110F 11/09 06:34
推 : 宇樹？111F 11/09 06:55
推 : 失敗率9%聽起來很恐怖耶112F 11/09 07:24
推 : 現在缺最多的是 照護老人機器人. 怎不生產這一塊??113F 11/09 07:27
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 76
作者 steveisaman 的最新發文:
- 原文標題： 連鎖效應？輝達5千億美元融資計畫恐喊卡 華爾街驚傳「一毛沒給」 原文連結： 發布時間： 2026/11/14 11:16 記者署名： 中天 苗珮瑩 原文內容： 輝達創辦人黃仁勳辭去執行長 …356F 113推 12噓
- 6F 2推 1噓
- 6F 4推 1噓
- 原文標題： 蘋果公開人形機器人「大腦」HALO！搭載宇樹G1測試 陌生環境任務成功率達91% 原文連結： 發布時間： 2026-11-08 20:00 記者署名： 鉅亨網編譯 莊閔棻 原文內容： …113F 51推 3噓
- 原文標題： 美企不再盲目燒Token 蘋果傳砍內部AI預算、每日最低恐剩25美元 原文連結： 發布時間： 2026-11-05 22:20 記者署名： 鉅亨網編輯 林羿君 綜合報導 原文內容： 美企 …65F 31推
點此顯示更多發文記錄
→
guest
回列表(←)
分享