AREX Feed Article
英伟达 GEAR 开源机器人数据引擎 Flora:三个模型权重上架 Hugging Face,称标注成本约为 GPT-6 Astra 的 1/125
北京时间 10 月 21 日凌晨,Jim Fan 在 中宣布,团队当天开源 Flora 的模型权重——一套用来解析物理世界、把原始视频变成训练信号的开放模型套件。他给出的核心数字是:团队自建的机器人数据引擎达到「Astra 级性能」而成本低约 125 倍,每天在 500 块 GPU 上标注 20 万小时视频,Flora 已在驱动这套内部数据引擎。帖文末尾他写道:「我们造出它来扩展机器人学习的前沿。现在,权重也归你了。」
这些说法对应的实体当天都能打开:与论文已上线,里挂着三个模型仓库。宣布者 Jim Fan 的 自述其为 NVIDIA Director of Robotics & Distinguished Scientist、GEAR 实验室联合负责人,论文署名中他与 Yuke Zhu、Johan Bjorck 并列为共同指导作者。性能与成本对比全部出自团队自测,附录列明了每项假设;本文引用的公开材料目前均来自英伟达一方。
三个模型,一条标注流水线
Jim Fan 在帖文里列举的三项能力——带时间戳的字幕用于筛选人类自我中心(egocentric)视频与机器人数据、稠密的进度奖励用于质量控制和 RL post-training(强化学习后训练)、用于真实世界基准评测的 rubric(评分细则)打分——分别落在三个模型上。三张 Hugging Face 模型卡写明了分工: 在重叠时间窗口里定位操作片段,预测起止时间和动作是否延续到窗口之外,流水线再把碎片拼成整段事件; 为每个区间生成一条动作指令,输入含目标区间前后相邻帧,多机位录像拼成单帧画面,标注失败尝试时保留原定目标、不暗示成功; 是单个模型,靠提示词切换三种输出:判断整段任务成败的结局奖励(outcome reward)、按 0.5 秒步长打分的进度奖励(process reward),以及按用户自定义评分项在测试时生成的 rubric 奖励。
论文写明了三个模型的出身:分割模型从 Qwen3.5-9B 初始化(以 LoRA 低秩适配方式微调),标注与奖励模型从 Qwen3.5-27B 初始化;训练数据混合了开源、授权与自采数据集,由人工标注员提供稠密时间戳字幕和动作质量标签;分割与标注模型在监督微调(SFT)之后再用 GRPO 做强化学习,而发布的奖励模型只用 SFT。
论文共同一作之一、自述为 NVIDIA GEAR 研究科学家的 当天发布了,比 Jim Fan 的宣布早 29 分钟。他在里概括这条流水线:「原始视频进,带时间戳的子任务指令出」,并称人类的手、夹爪、灵巧手用的是同一套模型。
0.72 美元对 88.49 美元:成本比是怎么算出来的
125 倍出自论文的标注成本测算,对照对象 GPT-6 Astra 是论文表格中归入「专有(Proprietary)」一栏的前沿模型。测试在一个固定的 50 段子集上进行——DenseCaptionBench 中 20 段人类、15 段平行夹爪机器人、15 段灵巧手机器人,共 4,483.54 秒(约 75 分钟)源视频;质量分同等平均分割、参考区间标注与联合标注三项。结果:Flora 达到 57.1% 的质量,估算成本 0.7224 美元/小时源视频;按最大推理强度调用的 GPT-6 Astra 质量为 53.7%,成本 88.4922 美元/小时,按 2026 年 10 月 4 日的公开标准 API 费率计费。两者比值为 122.49,论文概括为「约 125 倍」,质量高出 3.3 个百分点(按未取整均值计)。
0.72 美元本身是一层假设的产物:论文按 8 块 GB300、每 GPU·小时 10 美元的部署模型折算,工作负载(660 个窗口、890 条字幕)取自此前一次部署研究,属于「工作负载假设」而非实测调用量;工程区间在 0.51~1.26 美元之间。论文同时声明:GPU 价格是假设值,存储、计费粒度与部署开销未计入,API 侧是「已知用量小计」而非完整账单,两侧都只算标注推理、不含模型本身的训练成本。所以,125 倍指的是标注环节在特定假设下的估算比,并不等于两种方案的总成本对比。
与 GPT-6 Astra 的对照表:有赢有输
「Astra 级性能」的依据是论文的基准表,而且不是一边倒。公开的 WGO-Bench(100 段视频:25 段人类第一视角 HomER、50 段外部视角机器人 DROID、25 段头戴视角机器人 Galaxea)上,Flora 的分割 F1@0.75 为 50.3,高于 Astra 的 46.0;但联合语义 F1 为 34.5,落后于 Astra 的 39.0;字幕准确率也不及 Astra(64.7 对 77.4)和 Gemini 3.8 Flash(70.9)。论文自己注明:Flora 的优势主要来自时间定位。
团队自建的 DenseCaptionBench(300 段,人类、平行夹爪、灵巧手各 100 段)上,Flora 在人类子集三项指标全部领先,联合 F1 比 Astra 高 7.7 个百分点;机器人 200 段子集则三项都不及 Astra。奖励方向上,Flora-Rewarder 在公开的 RoboRewardBench(2,831 段,1~5 分结局评分)上的平均绝对误差为 40.0,低于 Astra 的 55.4;自建的 DenseRewardBench 上失败召回率为 53.3%,论文写道没有任何基线超过 11.7%,Astra 的失败召回为 0——它在 bad-action F1 上最接近 Flora,却检测不到失败步骤;代价是 Flora 把约 11% 的正常步骤误标为失败。自建的 RubricBench(40 段遥操作机器人视频、10 个任务,人工按 rubric 打分)上,Astra 仍然领先:L1 误差 3.6 对 Flora 的 6.5。
已经在为 GR00T-2 供货的内部产线
Flora 已经跑在生产负荷上。论文与项目页写明,这套引擎已在 512 块 GB300 GPU 上每天标注最多 20 万小时数据——Jim Fan 的推文把它取整为「500 块 GPU 上每天 20 万小时」。照此折算,每块 GPU 一天要处理约 390 小时视频,约合 16 倍实时速度。三张模型卡则把用途写得具体:「Flora 由 NVIDIA 开发,是用于训练 GR00T-2 的数据引擎。」
论文导言写明三类标签的用途:带时间戳的动作指令用于预训练数据的筛选与配比;进度奖励用于 RL post-training 中对每一步的功劳分配;结局奖励用于监控真实部署中的机器人集群。
非商业许可:开放权重的一条硬边界
Hugging Face 上三个仓库均可公开下载、未设访问门槛:captioner 约 274 亿参数,rewarder 约 278 亿参数,分割模型以 LoRA 适配器形式发布。三张模型卡的 Intended Use 条款划出了同一条边界:仅限非商业机器人研发,不支持商业或生产环境使用;输出只是标注,既不用于直接控制机器人,也不作为物理系统的唯一安全监控。
模型卡标注的 Hugging Face 发布日期是 2026 年 10 月 15 日——权重上架比 Jim Fan 的宣布早了五天。论文结语把开源意图写为:让研究者扩展自定义机器人数据集,并探索「物理自动研究」(physical auto-research)与「人到机器人迁移」(human-to-robot transfer)等方向。Yunze Man 在线程末尾的里说得直白:「标注你自己的机器人数据,给你自己的 rollout(策略执行轨迹)打分,闭上你自己的环。」
至于 125 倍这个数能不能站住,外部检验的条件随开源而齐备:权重可下载,WGO-Bench 等公开基准不在团队手里,而成本模型的每个输入——GPU 时价、窗口数、字幕数、工作负载假设——都写在附录里,任何人都可以换成自己的数字重算一遍。