机器之心发布 10 月 30 日凌晨，今年 4 月成立的破壳机器人（PokeBot），发布了第一款模型产品 RoboAPI ，他们的世界模型 Poke-Aurora 也首次亮相。不同于其他具身模型发布 Demo，破壳发布的 RoboAPI 是一个面向真实物理世界、可公开访问、开箱即用的具身 API，亮相的同时便向行业发出邀请：欢迎试用。 视频链接：https://mp.weixin.qq.com/s/5vLUYBXxK2IxWjyGPZQq3A 只要在适配的机械臂上接入 RoboAPI，开发者无须采集数据、训练模型，用一句 prompt 下达指令，机械臂就能在陌生环境中完成没有专门训练过的任务，验证破壳模型的「零样本泛化」。 目前，RoboAPI 为非商业化应用，不向盈利性第三方提供产品或服务。开发者可以通过 RoboAPI 的快速开始文档和开发者平台免费接入。 一、RoboAPI 让机器人模型「开箱即用」 RoboAPI 的开发，首先是基于一个普遍的行业痛点 —— 机器人模型的 demo 视频总是很惊艳，可真要用起来，却是另一回事。一个高校实验室想用上开放的具身模型，要经历采数据、微调模型，再验证效果、补采数据，几轮折腾下来，很可能要花上一个月。 其中的难点有两层。一层是构型差异：机器人不像文字和图片那样有统一的格式，不同机器人的结构、传感器和控制方式千差万别，改动任何一处，模型就可能「水土不服」。另一层则是泛化本身：即便在同一台机器上，模型往往只在训练过的物体和场景里表现稳定，换做没见过的环境和物体，模型就可能失手。 类比语言模型的发展历程，GPT-3 API 曾让开发者不必自己训练和部署语言模型，就能用上前沿的基础模型，RoboAPI 想在物理世界做同样的事。具体来说，RoboAPI 接收机器人的观测与状态，结合用户指令，近乎实时地预测并输出机器人接下来的动作。 二、Poke-Aurora 轻松调用的零样本泛化能力 支撑 RoboAPI 的，是破壳的首个世界 - 动作模型 Poke-Aurora，它具有零样本泛化能力。世界 - 动作模型通过预测未来画面，学习物体运动与交互的规律，为操作经验跨物体、跨场景迁移打下基础。不过，世界建模的能力并不会自动变成可靠的动作能力，如何让视频与动作的学习相互促进，仍是关键挑战。 为此，破壳在 Poke-Aurora 中提出「调制残差耦合」（Modulated Residual Coupling，MRC）机制。在保留视频与动作各自原有计算路径的基础上，让两者建立起可学习的交互。破壳观察到，MRC 让视频预测与动作预测的学习方向更加一致，模型对物体如何运动、如何交互的理解，因此能更好地服务于动作生成。 在破壳今早发布的文章中显示，他们自建了一套规模化评测体系，覆盖近 1000 个常见物体、近 1 万条不同指令，任务分为物品转移与整理、姿态与形状对齐、环境交互与工具使用三类常见动作。 在这套评测中，Poke-Aurora 在三类任务上的成功率分别为 86.0%、54.1% 和 87.7%，均高于参与对比的 GPT6 Astra 和两款开源具身模型；两款开源具身模型在三类任务上的成功率都不到 35%。更多技术细节，预计在 Poke-Aurora 的技术报告中公布。 视频链接：https://mp.weixin.qq.com/s/5vLUYBXxK2IxWjyGPZQq3A 为了让这套流程在不同机器人上跑起来，破壳在实现 RoboAPI 时对「构型」进行了优化。受 UMI 启发，破壳定义了「腕部鱼眼相机 + 末端位姿控制」的构型：在机械臂手腕上装一个消费级鱼眼运动相机，观测和控制都以夹爪所在的末端为中心，大幅降低了搭建这套配置的门槛和成本。 三、具身智能的「API 时刻」 让模型接受所有人检验 真实世界远比评测复杂。在破壳看来，这恰恰是 RoboAPI 最大的意义：一个前沿具身模型的泛化能力，不应只由它的创造者自己决定，而应随时接受任何外部用户的真实检验。 这也回应了具身行业长期存在的一种错位。在具身行业，有人提供机器人和模型，有人负责使用它们。前者长期以演示视频示人，可视频里的表现与模型的实际能力常常对不上，使用者只能自己花大量工夫去调教。RoboAPI 希望把模型的能力直接交到使用者手里，让它在不同的硬件、任务和环境中接受检验。 到目前为止，RoboAPI 已在美国、新加坡等多个高校实验室进行了内测，反馈很好，伴随着正式推出，也将迎来更多开发者来测试。 视频链接：https://mp.weixin.qq.com/s/5vLUYBXxK2IxWjyGPZQq3A 自主，4倍速 对开发者来说，RoboAPI 把机器人底层的控制封装了起来，就像今天很少有人关心电机内部的控制算法。「机器人大脑」变成了