AREX Feed Article
一个模型搞定 11 项家务：ω-0 让人形机器人边走路边干活，真实世界成功率 81.8%
让机器人擦桌子不稀奇——但让它一边迈步、一边弯腰、一边保持抹布贴在桌面上，同时手眼协调不摔倒，这是两回事。2026 年 8 月 7 日，来自 MARS Lab（南洋理工大学）、北京大学、北京智源人工智能研究院（BAAI）和香港科技大学（广州）的联合研究团队在 arXiv 发布论文 ，提出潜在预测全身世界行动模型 ω-0。与此配套，团队同步发布了 ω-HOME 数据集——40.3 小时的真人遥操作人形机器人家庭任务演示数据。在 11 项覆盖擦桌、拖地、洗衣、取冰箱饮料等真实家庭场景的任务中，单一 ω-0 模型取得了 81.8% 的平均成功率，在成功率、子任务得分和任务进度三项指标上均超越 8 个主流基线方法。
论文标题：ω-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation 论文链接： 项目页面： 开源地址：暂未开源（代码与数据集均标注为 WIP） 核心成绩：单一统一模型在 11 项真实世界家庭移动操控任务上取得 81.8% 平均成功率，超越 ACT、Diffusion Policy、π-0.5、GR00T-N1.7 等 8 个基线方法
人形机器人缺的不是手，是一个能同时管住手脚的大脑
大多数机器人策略在做家务时会把问题拆成两步：先走过去，再停下来操作。这种"先移动、后操控"的分解在走到桌前拿起一个苹果时够用，但在擦桌子、拖地、从洗衣机掏衣服这些场景里，稳定执行恰恰依赖同时发生的迈步、躯干调整、手臂伸展和接触维持。
研究团队指出了现有方案的三个具体缺口。第一，主流的视觉-语言-动作模型（VLA）——包括 π-0.5、GR00T-N1.7、EgoVLA 等——预训练和动作设计仍以手臂操控为中心，下肢与上肢被当作独立组件分别处理。第二，世界行动模型（World Action Model，WAM）虽然通过预测未来视觉动态来提供额外的任务进展监督，但大多数 WAM 是为桌面级手臂操控开发的；少数扩展到人形机器人的 WAM（如 MotionWAM）将视频生成作为中间表示，而真实家庭环境中人形机器人的视觉观测充满噪声、遮挡和视角变化，逐像素视频保真度的提升并不直接转化为更好的控制效果。第三，真实世界人形机器人遥操作数据获取成本极高，公开人类动作数据集虽然丰富，但人体运动、机器人状态与控制器动作处于不同表征空间，无法直接使用。
ω-0 的设计思路不是"预测未来视频再将其转换为动作"，而是把未来视觉预测作为一个轻量级的辅助信号，与动作生成在潜变量空间中联合训练。模型接收语言指令、当前视觉观测（支持第一人称 RGB、第三人称 RGB 和第三人称深度三种输入）和机器人本体感知状态，直接输出控制器兼容的全身动作潜变量（action latents），由底层控制器 SONIC 以滚动时域方式执行。
三阶段训练：从离散动作词汇到真实世界滚动部署
ω-0 的训练分为三个阶段。
第一阶段——全身动作 VLM 预训练。 直接让预训练的视觉语言模型预测连续高维人形机器人动作信号是不现实的，因为 VLM 的输出空间本来是为离散语言 token 设计的。团队首先训练了一个全身 FAST tokenizer，将连续全身动作轨迹编码为离散动作 token 序列，相当于为机器人动作构建了一套"词汇表"。随后在 Qwen3-VL-2B-Instruct 基础上微调，让模型学会根据语言指令和视觉观测自回归地预测这些离散动作 token。这一阶段使用 ARCTIC、经过人工筛选的 Xperience-10M 和 Motion-X 三个公开数据集，所有动作标注统一转换为 SMPL 表征。训练完成的 VLM 在后续阶段冻结，其隐藏表征作为动作语义先验进入下游训练。
第二阶段——人-机动作潜变量预训练。 公开人类动作数据集虽然包含丰富的视觉-运动先验，但缺少机器人本体的 proprioceptive 状态和对应 SONIC 控制器的动作潜变量。团队的做法是把公开数据集中的运动轨迹在仿真器中用 SONIC 批量回放：能稳定执行的轨迹保留，不能的（如 Motion-X 中的武术动作）过滤掉，由此获得机器人可执行的 state-action latent 对。
这一阶段的核心设计是一组双重可学习查询（queries）：运动查询（motion queries）和视频查询（video queries）。运动查询用于动作生成，视频查询被监督以预测未来视觉潜变量（由冻结的 Wan 编码器提取的真实未来视觉 latent 作为监督）。运动查询通过 cross-attention 关注视频查询，将预测的未来视觉动态注入动作表征中——但整个预测在嵌入空间中完成，不需要生成像素级视频。团队使用了 token-specific 的 RoPE 位置编码：视觉前缀用 2D RoPE，视频查询用 3D RoPE（时空），动作查询用 1D 时间 RoPE。动作分支由一个 DiT（Diffusion Transformer）以 x₀-prediction 目标去噪生成全身动作潜变量。
打个比方：传统的 WAM 做法是让模型"想象"出接下来几秒的画面再据此行动，而 ω-0 的做法是让模型拥有一份压缩的"场景变化摘要"，动作生成时可以参考这份摘要，但不需要先把整部"电影"拍出来。
第三阶段——真实世界数据微调。 在真实人形机器人遥操作数据上微调时，团队引入了训练期实时分块（Real-Time Chunking，RTC）机制。滚动时域控制中，相邻动作块的衔接至关重要：新预测的动作块开头必须与上一步已经生成或执行的动作保持一致。训练时随机采样一个前缀长度 M，将前 M 帧噪声潜变量替换为对应的干净潜变量作为"时间锚点"，去噪损失仅计算非前缀部分。部署时缓存上一推理步预测的最后几帧动作，作为当前去噪过程的干净前缀，保证时间连续性。
三个阶段的训练均在 8 张 NVIDIA H100 GPU 上完成。Stage 2 和 Stage 3 中，V-JEPA 图像编码器、Wan 编码器和预训练 VLM 均保持冻结，仅优化联合视频-动作潜变量预测器、状态编码器、条件融合模块和动作 DiT。
40 小时、4,827 个片段：ω-HOME 数据集怎么来的
ω-HOME 包含 40.3 小时、4,827 个 episodes、24 项任务的同步多模态数据，全部以 30 Hz 频率录制。24 项任务分为八大能力组：物体取放、表面清洁、电器交互、容器转移、衣物处理、收纳整理、移动操控和工具化地面作业，涉及桌子、抽屉、衣柜、洗衣篮、洗衣机、床、冰箱、垃圾桶、清洁工具等常见家居物品与家具。
每条轨迹包含六种同步模态：第一人称 RGB（由机器人头部的 ZED Mini 相机采集，与部署时输入一致）、第三人称 RGB-D（由房间内放置的 ZED 深度相机采集）、机器人 proprioceptive 状态（身体关节、灵巧手关节和躯干朝向）、全身运动参考和动作潜变量。
遥操作数据采集使用 SONIC 作为遥操作策略。操作员佩戴 Pico 4 Ultra VR 头显、两个手持触发器（控制手部抓取），双脚各绑一个 Pico 追踪器（提供下肢运动线索）。机器人侧配备 Inspire DexHands 灵巧手。11 项下游评测任务被排除在 ω-HOME 预训练池之外，其余轨迹与公开数据合并用于 Stage 2 预训练，避免任务泄露。
11 项评测任务覆盖了从纯桌面操作到需要明显下肢参与的场景：从桌上拿苹果放入篮子（无需下肢）、将苹果摆放到架子上（需要下肢）、从床上拿衣服扔进洗衣篮、将毛巾从洗衣篮移到洗衣机、擦桌子、拖地、从不同高度捡垃圾到手持垃圾桶、拿苹果扔进抽屉并用膝盖关抽屉、从床上扫垃圾转身扔进垃圾桶、从洗衣机取衣服、从冰箱取饮料。
81.8% 成功率：单一统一模型跑赢所有基线
评测采用三项指标：成功率（10 次独立试验中完成全部任务目标的次数占比）、子任务得分（将每项任务分解为预定义子任务，完成一个得一分，取 10 次试验平均）和任务进度（首次失败前沿任务顺序推进的比例）。所有方法和 ω-0 均在同一协议下、使用统一的多任务策略评测，而非为每个任务单独训练策略。
论文对比了 8 个基线方法。ACT 和 Diffusion Policy 代表经典模仿学习路线——前者基于 Transformer 预测动作块，后者以扩散过程生成动作，两者都缺乏大规模视觉语言预训练。π-0.5、InternVLA-M1、EgoVLA 和 GR00T-N1.7 代表当前主流的 VLA 路线，各有侧重：π-0.5 是通用机器人 VLA，InternVLA-M1 擅长空间推理但面向机械臂操控，EgoVLA 基于第一人称人类操作视频预训练、原解码器仅关注腕部和手部姿态，GR00T-N1.7 是面向操控与移动操控的通用机器人基础模型。ψ-0 是以手臂为中心的人形机器人 VLA——其高层策略主要预测上肢和手臂动作，下肢运动交由独立控制器 AMO 处理。Fast-WAM 则是将视频预测保留为训练目标但不做显式推理时视频生成的世界行动模型。
ω-0 在 11 项任务上取得 81.8% 的平均成功率和 90.3% 的平均任务进度，在所有三项指标上一致超越基线。论文指出，额外引入 ω-HOME 中的非评测轨迹作为预训练数据后，微调阶段的真实世界表现显著提升。团队还报告了在未见过的物体、场景和人类数据迁移设置下的泛化表现。
不造视频、只造行动：世界模型可以更轻
ω-0 的核心设计在于它重新定义了"世界模型"在机器人控制中的角色。此前的人形机器人 WAM——无论是 MotionWAM 还是 DiT4DiT——都或强或弱地将视频动态建模作为动作预测的中间通路。ω-0 的潜变量预测路径绕开了这个包袱：不需要大视频生成器、不需要推理时的视频-动作逆向映射，未来观测嵌入预测仅作为训练期的轻量辅助监督信号。
这带来的实际好处有三点：模型对真实世界噪声和遮挡更鲁棒（因为不需要逐像素精确重建）；训练和推理开销更可控（Stage 2 和 Stage 3 仅优化预测器和 DiT，冻结其余大模型）；全身协调行为不是由分离模块间接产生，而是从统一的潜变量表征中直接学习。
RTC 机制的引入则解决了滚动时域部署中相邻动作块断裂的问题——论文发现，训练期的随机前缀替换与部署期的前缀缓存结合后，动作块的衔接在训练中就得到暴露和优化，减少了真实机器人执行中的不连续性。