苹果新 CEO 最近对自家 AI 的进度有点不满意。 据彭博社最新爆料，苹果 CEO 约翰·特努斯已经要求软件主管费德里吉加快 AI 开发节奏，拿出更大胆的方案，不能只满足于给 Siri 升级几个功能。 比起苹果 AI 落地的速度，苹果在研究上的进展其实超出很多的预期，其中就包括具身智能，苹果也在研究怎么让 AI 拥有一副能在现实世界行动的身体。 最近，苹果研究团队公开了一项名为 HALO 的人形
苹果新 CEO 最近对自家 AI 的进度有点不满意。 据彭博社最新爆料，苹果 CEO 约翰·特努斯已经要求软件主管费德里吉加快 AI 开发节奏，拿出更大胆的方案，不能只满足于给 Siri 升级几个功能。 比起苹果 AI 落地的速度，苹果在研究上的进展其实超出很多的预期，其中就包括具身智能，苹果也在研究怎么让 AI 拥有一副能在现实世界行动的身体。 最近，苹果研究团队公开了一项名为 HALO 的人形机器人研究，直接用宇树 G1 当身体，后背绑着一台 Mac mini M4 Pro，里面运行的还是阿里的千问模型。 这套看起来有点混搭的系统，已经能够让机器人自主走进陌生家庭，找到椅子坐下、钻过桌底、推走箱子。在 6 个从未见过、没有提前扫描的真实环境里，360 次测试的平均成功率达到 91%。 图｜项目地址：https://apple-aiml-research.github.io/ml-halo/ 更有意思的是，苹果甚至没有专门找人遥控机器人来采集这些训练数据。 研究团队用几百张 GPU，在上千个虚拟家庭中批量生成机器人的动作和视觉数据，再把学到的技能直接搬进现实世界。 这意味着，人形机器人原本需要人类手把手教的动作，现在开始有机会靠算力来学习。 [demo-1080.mp4] 教机器人坐下，得先拍到它看见了什么 我们听到「去椅子上坐」，一般会先看椅子在哪儿，然后走过去，转身，再把身体的重量落到座面上。 对机器人来说，这个过程则需要一种很具体的训练数据。一条常见的数据样本里，既要有它听到的指令和第一视角画面，也要有完成任务时全身关节怎么动的记录。靠人遥操作采集，每多一条样本，就得再做一遍。 这种配对机器人的数据叫做「视觉-语言-动作 Vison-Language-Action，VLA」，和训练大语言模型可以使用互联网上取之不尽的文本不同，现实世界中并不存在已有的 VLA 语料数据。 每一条训练样本都必须有人专门制造出来：遥操作系统（如 ALOHA）、穿戴式动捕设备（如 UMI），产出一小时数据至少要消耗一小时人力，这也是人形机器人领域著名的「数据瓶颈」。 苹果的这篇论文 HALO 给出的方案是 不采人数据了，全部用仿真合成。 研究团队用运动扩散模型生成全身动作，用程序化生成器（INFINIGEN）造出 1000 个虚拟家庭，客厅、办公室、卧室，家具疏密随机；再在 Isaac Sim 里把动作放进场景，渲染出机器人头部相机看到的第一视角画面，最后交给自动校验器筛掉穿模、滑脚的坏样本。 拿坐椅子来说，研究人员先指定走过去、转身、坐下这几个阶段，以及最后坐稳的姿势。 动作生成模型据此给出多组轨迹 ，程序检查脚底有没有打滑、身体有没有穿过地面、关节有没有超过活动范围，再把筛过的动作和椅子摆进虚拟房间，避开周围的家具。 接下来，仿真器从机器人头部摄像头的位置把这一幕拍下来。团队在约 1000 个程序生成的房间里做出了 16.3 万条、近 300 小时 的配对样本，数据规模只受算力限制。 论文里还提到，仅生成 SIT（坐下）一个技能的 5 万条样本，就用了 250 张 H100 GPU 跑了 9 个小时；全部 1178 个房间的生成用了约 300 张 GPU、26 个小时。 房间多样性本身也起了作用。研究团队保持动作数据量不变，只调整训练场景的数量。在 100 个没见过的模拟房间里，坐椅子的成功率从只用 1 个房间训练时的 43%，涨到用 100 个房间时的 81%。场景再加到 1000 个，成绩升到 84%。 苹果的机器人生态，跑在自己的芯片上 HALO 的自主性由三层结构协作完成，而且 全部在机器人本体上运行 ，不联网、不遥控、不需要外置动捕。 编排器（约 0.5 Hz） ：一个视觉语言模型（默认是本地运行的 Qwen3.6-35B-A3B）每两秒看一次画面，可以把「帮我把箱子推到桌子那边」这样的自由指令拆解成子任务序列； 运动生成器（3 Hz） ：冻结的 Qwen3.5-2B VLM 编码器加上一个从零训练的扩散 Transformer 解码器，根据当前第一视角画面和子任务，生成未来 5 秒的全身运动计划，即机器人身上 29 个关节角度加骨盆位姿； 运动跟踪器（50 Hz） ：结合深度视觉和本体感觉，把运动计划落地成真正的关节命令。它经过「特权专家训练 → 多教师蒸馏 → 多 critic 强化学习微调」三段式训练，是解决「物理问题」的最底层。 总的来说，上两层解决的是「语义」问题，即指令说的是哪把椅子；最底层解决的是，如何让屁股结结实实落在椅面上，还不能失去平衡。 这套编排有趣的地方是软硬件上的混搭，用的是宇树 Unitree G1 的身体，背上驮着一台 Mac mini M4 Pro（64GB 统一内存）负责思考，而机器人原厂 Je
