AREX Feed Article
李飞飞 World Labs 公布 R2S2R 首批成果:零真实数据训练的机器人策略在硬件上自主运行超1小时
7月28日,李飞飞联合创立的空间智能公司 World Labs 公布了其 Real-to-Sim-to-Real(R2S2R)引擎的首批实验成果:多种机器人操控策略完全在生成式仿真环境中训练,使用零真实世界数据,直接迁移至实体机器人后自主运行超过1小时,全程无人工干预。同日,a16z 播出了 Martin Casado 与李飞飞、Yunzhu Li 关于空间智能与机器人仿真的对话;比亚迪亦确认将于8月初在体验中心首秀其人形机器人。
R2S2R 是什么
R2S2R 是一个将真实机器人任务转化为高保真交互仿真、再在仿真中训练和评估策略、最后迁移回物理世界的闭环引擎。它分两个阶段:
- Real-to-Sim(R2S):从物理机器人任务出发,捕获机器人、传感器、环境、物体和任务演示,重建为既保留视觉外观又保留物理动态(形变、接触力、摩擦力等)的交互仿真世界。
- Sim-to-Real(S2R):在仿真中系统性地变化物体配置、光照、材质属性、难度等条件,训练策略并评估其表现,再将策略直接部署到实体机器人。
World Labs 在官方博客中强调,R2S2R 的关键突破不在于单一的一次成功迁移,而在于该方法跨任务、跨机器人平台的泛化能力,且仿真评估结果与真实硬件上的策略排名高度相关。
实际演示了什么
World Labs 展示了覆盖五种任务类别、四种机器人平台的多项结果,所有策略均使用零真实世界训练数据:
- ALOHA 双臂平台:双臂纸箱包装(折叠与封箱),并在主动光照干扰下保持鲁棒性。
- YAM 机械臂:线缆操控——滑动、布线、插拔变形线缆,自主运行1小时无干预。
- RB-Y1 双臂平台:将电源线绕冰箱布线,涉及双臂协同操控可变形物体,自主运行1小时无干预。
- Flexiv 机械臂:在紧密几何公差下转移试管。
- xArm:从密集杂物中逐一取出笔和标记物(singulation)。
此外,World Labs 还展示了 R2S2R 作为策略筛选工具的能力:在 ALOHA 双臂立方体传递任务上,对 Diffusion Policy、ACT、π0 和 π0.5 四种策略架构进行仿真评估(每个检查点2000次试验),其性能排名与真实世界测试(每个检查点100次试验)高度一致,且仿真中识别的失败区域与真实硬件匹配。
与 SceniX 收购直接相关
这些成果与 World Labs 7月21日完成的 SceniX 收购密不可分。SceniX 此前正是构建 R2S2R 引擎的机器人仿真公司,其联合创始人和仿真技术专长被整合进 World Labs 的 Marble 平台——该平台能够从文本和图像输入生成逼真、动态的3D环境。World Labs 官方表述中,SceniX 是作为客户开始使用 Marble 模型的,随后双方合并。
在7月28日发布的技术博客中,World Labs 将此次收购定位为空间智能从虚拟环境向物理世界延伸的关键一步,并表示"这只是开始"。
同日 a16z 对话与比亚迪机器人消息
7月28日,a16z 同步播出 Martin Casado(a16z 普通合伙人)与李飞飞、Yunzhu Li 的对话,主题为"AI 的下一个前沿是空间智能",讨论了 SceniX 收购及仿真如何推动下一代机器人技术。
同日,比亚迪向中国媒体确认其人形机器人"小迪"(31个自由度、多语言交互)将于8月初在郑州"迪空间"品牌体验中心首次亮相,计划每家门店部署2-3台。不过,截至发稿时,比亚迪与 World Labs 之间是否存在直接合作尚未得到任何一方正式确认,TechTimes 的报道将两件事并列为同日发生的事件,并未主张二者存在商业合作关系。
为何重要
如果 R2S2R 的结果在大规模场景下可复现,其经济意义显著。传统机器人策略开发高度依赖物理硬件试验——每个新任务、新环境都需要大量人工数据采集和反复测试,硬件时间是最昂贵的成本项。R2S2R 的路径是:一次性投资构建高保真仿真,然后在该仿真中运行数千次训练和评估迭代,边际成本随使用次数急剧下降。一个重建好的任务可以服务于多种策略架构和多种机器人平台,从一次性仿真变为可复用基础设施。
TechTimes 的报道将此类比为大语言模型开发中互联网文本的角色——"收集一次,摊销到所有下游任务"。
局限与未解问题
需明确的是:这些结果是 World Labs 内部生成的,截至发布日尚未经过独立复现或同行评审。所有演示均在预先重建的已知任务上完成,并未展示 R2S2R 对未预先重建的新环境的自主泛化能力——而这才是生产部署中更困难的泛化挑战。
World Labs 官方亦承认关键开放问题:世界模型性能如何随交互数据和计算量增加而扩展?这一问题将决定当前成本结构在规模化后能保留多少。