Sakana AI 与东京大学发布 SAIL 机器人轨迹框架：候选轨迹从 1 条扩到 45 条，报告仿真成功率从 25% 升至 73%

9 月 28 日，Sakana AI 在中发布与东京大学合作的机器人轨迹生成框架 SAIL（Scaling In-Context Imitation Learning），并称这项工作将呈现于 IROS 2026（IEEE/RSJ 国际智能机器人与系统会议）。公告描述的机制是：一个策略视觉语言模型（policy VLM）参照少量成功示范生成机器人轨迹；轨迹先在仿真器中试跑，由评估 VLM 观看执行视频、找出进展停滞的位置，再用蒙特卡洛树搜索（Monte Carlo tree search，MCTS）迭代修订——只有最终选中的那条轨迹，才会下发给物理机器人执行。

公告公布的核心结果是：在仿真中的六项操作任务上，把搜索预算从 1 个候选扩大到 45 个，平均找到成功轨迹的比例从 25% 升至 73%；团队同时称，SAIL 也在物理机器人上完成了评估。论文《SAIL: Test-Time Scaling for In-Context Imitation Learning with VLM》已发布在，2026 年 3 月 9 日提交第一版，9 月 19 日更新修订版，署名作者为 Makoto Sato、Yusuke Iwasawa、Yujin Tang 和 So Kuroki。

SAIL 的仿真与真机环境：左侧三帧为仿真中「抓住蓝色方块—移向红碗—放下」的过程，右侧为仿真环境与真实机械臂的对照。（图源：Sakana AI 博客）

单次生成的轨迹经不起小误差

公告把出发点写成一个具体问题：机器人要上手一个新任务，缺什么？常规做法是收集演示、训练一个策略；而基础模型已经从海量图像、文本、代码和机器人相关数据里学过东西，团队想验证的是，在不更新模型权重的前提下，这些既有知识能为机器人控制所用多少。公告称，近期的演示提示 GPT-6 Astra 在通用语言与视觉能力之外还能操作物理机器人；另援引 Di Palo 与 Johns 2024 年的工作指出，此前已能把视觉观测分词，配合少量示范，让语言模型以上下文学习的方式生成整段运动轨迹。

麻烦在可靠性。博客解释：单次预测取决于提供的上下文——示范长什么样、与当前场景像不像——还带有采样随机性；即便动作意图正确，生成的运动目标里一个小误差也足以让整个任务失败。直接执行这条轨迹，意味着机器人在动起来之前，没有任何发现和纠正错误的机会。SAIL 的做法是 test-time scaling（测试时扩展）：不改权重，靠在推理阶段生成、评估、修订候选轨迹来换精度。

三个组件撑起一棵搜索树

论文摘要对结构的表述很直接：SAIL 的搜索树上，每个节点是一条完整轨迹，每条边是一次对轨迹的修订；搜索由三个组件引导。

博客给出的方法图：左侧为供 MCTS 检索与扩展的轨迹档案，右上为评估 VLM 按子任务逐帧打分，右下为对齐到轨迹步骤的反馈。（图源：Sakana AI 博客）

第一是档案检索。系统维护一个存放成功轨迹的档案，从外观与当前场景相似的记录中取出示范，连同当前物体布局、机器人状态一起交给生成 VLM，产出一条完整轨迹；搜索中新找到的成功轨迹会写回档案，供后续任务使用。

第二是 VLM 打分。候选轨迹在仿真器里执行并录成视频，评估 VLM 按预设的子任务清单逐段估计完成度——图中示例是「移向把手—抓住把手—拉动把手」——各帧估计汇总成整条轨迹的分数。博客说明，这种按时间给任务进度打分的方式建立在 ROVER（Schroeder 等，2025）的基础上。统计口径上，引导搜索的是 VLM 的完成度估计，而最终判定的成功与否由仿真器的真值成功检查单独给出，两者分开。

第三是逐步反馈。各帧的完成度分数被对齐到轨迹上选定的路标点，连同带标注的父轨迹一起回传给生成 VLM，提示它保留进展顺利的段、修订停滞的段；修订出的轨迹作为子节点再次进入仿真评估，如此往复。博客称，全部实验中由 Gemini Robotics-ER 1.5 同时担任策略与评估 VLM，全程未更新权重。

六项任务的逐项成绩与基线对比

六项任务的结果表：广度优先搜索与深度优先搜索在 15 个节点下平均 51% 和 37%，SAIL 随节点数从 6 加到 45，平均成功率从 55% 升至 73%。（图源：Sakana AI 博客）

博客给出了各档预算的完整数字：六项操作任务在 ALOHA 仿真器中评估，每项任务 20 个初始配置，任务分别对应 Banana、Pen、Bowl、Drawer、Laptop、Marker。只生成一条轨迹（1 个节点）时，平均成功率 25%，其中 Marker 仅 5%，Drawer 仅 10%。换上 SAIL 后，曲线随预算一路抬升：6 个节点平均 55%，15 个 65%，30 个 71%，45 个 73%。到 45 个节点时，Bowl 是 100%（6 个节点时已到此水平），Banana 95%，Pen 和 Laptop 分别为 80% 和 70%，起点最低的 Marker 也从 5% 升到 45%。

表中还列了两种基线搜索，同样拿了 15 个节点的预算：广度优先搜索平均 51%，深度优先搜索 37%，SAIL 在同预算下是 65%。公告把这组结果的含义归为一句：机器人轨迹生成可以从 test-time scaling 中获益，额外的计算让模型有机会在仿真里测试并修正自己提出的动作。

真机验证：一项任务，六次试验成功五次

物理实验目前只覆盖一项任务。博客描述：用一支 LeRobot SO-101 机械臂做「把方块放进碗里」，系统根据彩色与深度观测重建场景，在仿真中搜出成功轨迹后交给真机执行。物体位置随机、预算 15 个候选，六次试验成功五次；团队把剩下那次失败归因于位姿估计误差，以及仿真与真实环境接触动力学的差异。

博客还提到一个副产品：把搜索找到的成功轨迹用作模仿策略的训练数据。这条路线同样六次成功五次，且按博客报告，其执行时间比运行 MCTS 搜索更短。

发布方自己划出的边界

论文与博客列出了三条限制：轨迹开环执行，运动途中没有视觉反馈；在仿真里搜索和修订需要额外的计算；真机评估只有一项任务、每种方法六次试验，还需要更大范围的验证。

公告结尾也停在未完成处：团队认为，现有模型配合这类反馈还能做到什么、这些改进又能多大程度迁移到物理机器人上，仍有待研究。按公告，这项工作将呈现于 IROS 2026；在那之前，可公开核对的证据就是发布方贴出的仿真结果表，和真机上那几段试验记录。