从 Parquet 碎片到可交互视频：Voxel51 用 FiftyOne 把百万机器人轨迹装进了浏览器

2026 年 8 月 6 日，Voxel51 发布官方教程，展示如何将其开源数据管理工具与全球最大的开源真实机器人数据集（OXE）集成。

教程以 berkeley_fanuc_manipulation 子集为示例，在一个 Jupyter Notebook 中将原始 Parquet 和 MP4 分片转化为可浏览、可筛选、可嵌入可视化的交互界面。该子集包含 415 个 episode、两个相机视角（场景与腕部）、32 种语言标注任务。

OXE 汇集了来自 34 个研究实验室的 60 个独立数据集，包含超过 100 万条真实机器人轨迹，覆盖 22 种机器人形态与 527 种技能。FiftyOne 将多相机 episode 映射为分组数据集，逐帧轨迹转化为可查询的帧级字段，并通过 CLIP 嵌入加 UMAP 降维，把整个子集的视觉结构投射为一张交互式二维地图。

两天两篇，Voxel51 的 Physical AI 数据路线浮出水面

这已经是 Voxel51 连续第二天发布机器人数据管理教程。8 月 5 日，该公司发布了，展示了如何在 6500 个机器人演示中利用 CLIP 嵌入的唯一性评分自动定位失败样本，包括抓取失误、物体掉落、渲染错误，在训练污染策略模型之前将它们剔除。两篇教程共享同一套技术栈：LeRobot v3.0 格式导入器、CLIP 嵌入计算与 UMAP 可视化、以及自然语言相似度检索。

近期，FiftyOne 还推送了多项面向物理 AI 的功能：，使无人机和自动驾驶车辆的相机、LiDAR、GPS、IMU 数据在同一时间轴上同步回放；，允许按元数据、事件标签或嵌入相似度搜索传感器流。这一系列密集的机器人数据发布表明，Physical AI 数据管理已进入 FiftyOne 的核心路线。

Open X-Embodiment：百万轨迹的多样性，同时也是混乱的来源

OXE 诞生于 2023 年，由 Google DeepMind 联合 21 家学术机构发起，将 60 个既有机器人数据集统一为单一格式，贡献者后续扩展至 34 个研究实验室。基于 OXE 训练的 RT-1-X 和 RT-2-X 模型证明了核心假设：跨多种机器人形态、场景和任务训练的模型，泛化能力强于单一形态上训练的模型。多样性本身就是特征。

但多样性也是工程噩梦。60 个子数据集来自不同实验室，相机配置、状态空间、动作空间、分辨率和帧率各不相同，元数据质量参差不齐。Voxel51 在教程中指出：在训练任何模型之前，需要先"看见"手里有什么数据。靠 matplotlib 浏览百万条视频和逐帧传感器流行不通。

在此之前，社区已将 OXE 数据集转换为 Hugging Face 的（包括来自上海人工智能实验室 IPEC 团队的），以 Parquet 加 MP4 的分片结构托管在 Hugging Face Hub 上。FiftyOne 的正是架在这一标准化格式之上的桥梁。

一个 Notebook，把 Parquet 碎片变成四项交互能力

教程的 demo notebook 加载 berkeley_fanuc_manipulation 子集后，在 FiftyOne 的浏览器 App 中点亮了四个能力。

多相机同步回放：每个 episode 作为一个分组载入，场景相机和腕部相机作为两个切片，通过下拉菜单在同一时刻切换视角，同步回放直接在浏览器内完成。

任务与 episode 筛选：32 种语言标注任务以计数字段列出，一条查询即可隔离单个任务的全部 episode。"给我看所有开抽屉的操作"变成一行代码。

嵌入空间可视化：对全部帧计算 CLIP 嵌入，经 UMAP 降维至二维平面。按任务着色后，场景、任务类别、轨迹阶段在可视化中自动分离，形成整个数据集结构的即时地图。

相似度检索：将帧建立索引后按视觉相似度排序，把数据筛选从逐帧翻看压缩为秒级操作。

从 CV 工具箱到 Physical AI 数据基础设施，窗口收窄

Voxel51 成立于 2016 年，由密歇根大学教授 Jason Corso 与其博士生 Brian Moore 联合创办。其开源工具 FiftyOne 最初定位是计算机视觉数据集的标注、管理与评估工具。截至 2026 年，FiftyOne 累计超过，企业客户包括 Sony、LG、Ford、Hyundai 和 Bosch，Meta 在开发 SAM2 时也使用了 FiftyOne。

过去，FiftyOne 的价值主张集中在 CV 模型开发者身上：标注质量审查、模型评估、数据去重。2026 年以来的一系列发布——MCAP 原生支持、多模态时序数据、自然语言数据检索、接连两篇机器人数据教程——指向一个转变：FiftyOne 正在覆盖从自动驾驶到机器人操控的 Physical AI 全链条。

机器人学习社区对数据管理工具的需求在快速增长。OXE 的规模已经让手工审查失效，而 VLA（视觉-语言-动作）模型的端到端黑箱特性，使数据成为调试模型行为的唯一入口。Voxel51 此次用 OXE 做教程靶子，选中的正是社区最大的数据痛点。

数据"可观测性"，机器人工程的下一个对等命题

OXE 证明了跨形态数据训练的威力，也暴露了机器人数据的核心矛盾：规模越大，不看数据就越危险。FiftyOne 此次集成在格式兼容之外，把机器人数据管理从脚本驱动的临时方案，推向了可复用、可交互、可嵌入可视化的标准工作流。百万条轨迹在浏览器里变成一张可点击的地图之后，数据筛选从"事后补救"移到了训练开始之前。