AREX Feed Article
李飞飞:世界模型三层架构是渲染、模拟、规划,别让任何技术夺走人类主体性
"Don't let any technology take away your human agency."
8 月 8 日,在斯坦福大学 Memorial Auditorium,Stanford 教授、World Labs 创始人李飞飞在 AASF Symposium 炉边对话中抛出了这个判断。同一场对话里,她系统拆解了 World Labs 正在构建的世界模型三层功能架构——渲染(Rendering)、模拟(Simulation)、规划(Planning),将 AI 的下一程锚定在空间与物理智能上。
一场在斯坦福 Memorial Auditorium 的炉边对话
于 8 月 7 日至 9 日在斯坦福大学举办,三天议程横跨前沿科学、先锋奖章与公共政策论坛。李飞飞的炉边对话是其中受关注的环节之一。
与她同台的阵容包括刚从 Google 离职创立 Discovery Loop 的 Jeff Dean、诺贝尔物理学奖得主丁肇中、菲尔兹奖得主陶哲轩、RNA 剪接共同发现者周芷等。
李飞飞是 Stanford 计算机系 Sequoia 教授、Stanford HAI(人本人工智能研究院)联合主任,以及 World Labs 联合创始人兼 CEO。在 AASF 的对话中,她一边拆解世界模型的功能骨架,一边反复拉回一个问题:这项技术到底要为谁服务。
渲染、模拟、规划——世界模型的三个投影
世界模型(World Model)是 2026 年 AI 领域最热也最混乱的术语之一。视频生成模型、物理引擎、机器人控制策略,各自都在打着同一面旗。
今年 6 月 3 日,,试图用一张图厘清这个乱局。她将当下所有自称世界模型的系统,归结为同一个经典循环的三个投影。
这张底图来自强化学习教科书——部分可观测马尔可夫决策过程(POMDP)的循环:智能体发出动作(action),动作改变世界状态(state),状态投射为观测(observation),观测再驱动下一轮动作。李飞飞将世界模型拆为三种功能,每一种输出这个循环的不同一环。
渲染器(Renderer)输出观测。 它把信息变成像素,唯一的质量标尺是视觉保真度。一段由文字提示生成的城市航拍视频是渲染器, 和 World Labs 自己的 RTFM 也是。李飞飞写道:"航拍画面里的建筑从空中看完美无缺,但试着开车穿过下面的城市,它们就散了架。"这是她对纯渲染器局限的诊断——视觉上成立,结构上不可靠。
模拟器(Simulator)输出状态。 它生成的是三维世界的几何结构、物理属性与动态规律,人和程序都可以操作和计算。建筑师需要经得起测量的空间,不是"看起来对"的画面。强化学习智能体和机器人控制器需要的是可以大规模试错的训练场,而不是只能看不能碰的视频。
World Labs 的产品 Marble 是向模拟迈出的第一步。2025 年 11 月全面开放后,Marble 从文本、图片、视频甚至粗略 3D 草图中生成可探索的 3D 环境,同时输出两种格式:用于视觉漫游的高斯泼溅(Gaussian splats),以及物理引擎可用的碰撞网格(collision meshes)。2026 年 1 月,World Labs 发布了 World API,让开发者可以在其他软件和生产管线中调用 3D 环境生成能力。
规划器(Planner)输出动作。 给定观测和目标,规划器回答"下一步该做什么"。它在功能上是渲染器的逆运算——渲染器吃进动作、吐出画面,规划器吃进画面、吐出动作。视觉-语言-动作模型(VLA)、基于模型的系统、新近兴起的 World Action Model,都是规划器的不同形态。
三种功能共享同一套底层知识——几何、物理、动力学。李飞飞在博客中写道:一个真正理解杯子如何立在桌上的模型,理应从任意角度渲染它、模拟它被推倒的过程、并为机械手规划抓取动作。三种输出不过是同一种世界理解的三个投影面。当三者的边界开始模糊,终点是一个统一的世界模型。
这套三层架构并非纯理论。今年 7 月,World Labs 收购了机器人仿真公司 SceniX,后者的核心技术是"真实到仿真再到真实"(real-to-sim-to-real):先将物理世界中的机器人任务捕捉并重建为仿真环境,再自动生成数千个变体——不同光照、不同杂物、不同摄像头角度——用于大规模训练和评估,最后将训练好的策略部署回真实硬件。World Labs 公布的早期结果涉及线缆操作、试管抓取和细长物体操控,部分演示中机器人实现了持续自主运行。
语言不是世界的全部
:"After language, AI's next frontier is the physical world."
她在 2025 年的 Substack 长文《》中写道:当今最先进的大语言模型"仍然是黑暗中的文字匠——口若悬河却毫无经验,知识渊博却缺乏根基"(wordsmiths in the dark; eloquent but inexperienced, knowledgeable but ungrounded)。
中换了一种更直白的说法:一个 chatbot 能写出十四行诗、总结诉讼文书、解释量子力学,却仍然无法理解一个幼儿凭直觉就懂的物理常识。幼儿知道杯子被麦片盒挡住时并没有消失,知道椅子可以坐、玻璃会碎、从桌上推出去的玩具一定会掉下去。
这种空间智能(spatial intelligence)恰恰是当下 AI 缺掉的那一环。大语言模型吸收的是词语之间的统计关系,图像和视频生成器学习的是像素模式,但两者都不必然构建对三维世界的可靠理解。一段 AI 生成的视频可以从一个角度看很美,视角一转,家具挪了位、门通向虚空、物体短暂被遮挡后失去身份。
李飞飞用 ImageNet 帮机器学会了识别二维图片里的东西。2000 年代中期,她和合作者汇编了数百万张标注图片、覆盖超过 2 万个类别,为 2012 年 AlexNet 在图像识别上的突破提供了关键的数据土壤。现在 World Labs 要回答一个更难的问题:机器能不能理解图片背后的那个世界。
她将空间智能的缺失直接挂钩机器人产业的现实瓶颈。仓库里的机械臂必须知道抓起一个箱子会不会撞翻另一个。家用机器人必须理解抽屉怎么开、线缆怎么走、玻璃杯怎么放才不会碎。语言可以描述这些动作,但空间智能才能让动作真正发生。
World Labs 于 2024 年成立,已融资 2.3 亿美元。李飞飞的联合创始人包括 Justin Johnson、Christoph Lassner 和 Ben Mildenhall,四人在计算机视觉、图形学和生成模型领域各有深耕。在 AASF 的对话中,李飞飞将 World Labs 的使命定义为"大世界模型"(large world models)——就像大语言模型从海量文本中学习广泛模式一样,大世界模型从海量三维数据中学习空间与物理世界的结构与行为。竞争对手也在押同样的方向:NVIDIA 的 Omniverse 瞄准了工厂、仓库和数字孪生的万亿美元级市场,主要 AI 实验室和机器人公司都将世界模型视为潜在的基础设施。
"别让任何技术夺走你的人类主体性"
炉边对话中,李飞飞没有把 AI 描绘成乌托邦或末日。她选了一个更接近真相的词:"混乱的中间地带"(messy middle)。AI 是一把双刃剑——它既不是救世主也不是终结者,但有能力在两个方向上都走得很远。
她强烈呼吁,无论技术如何演进,绝不能让任何技术剥夺人类的主体性(Human Agency)。AI 本质上是一个工具,应当作为赋能人类创造力、生产力与关怀的伙伴。她点名了医疗照护的场景——不是让 AI 取代护士或医生,而是让机器理解病房里人和物的空间关系,辅助而非接管。
这与她的个人经历一脉相承。15 岁从成都移民新泽西,一句英语不会说,在餐馆打工帮补家用,靠一位数学老师的鼓励申请了普林斯顿。在 AI 领域攀登至顶尖的过程中,她始终将 AI 框定为一个"人类责任"问题,而非纯技术竞赛。2019 年,她参与创立了 Stanford HAI,核心理念就是 AI 应当改善人类处境,而不是变成一个脱离社会后果的工程计划。
在 AASF 现场,她还做了一个更私人的类比:科学家和创业者的心态,与移民经历是同一回事——都要面对陌生世界、漫长的不确定性和看不见出口的"黑暗隧道"。她倡导的是"无畏"(fearlessness):不被外部噪音或对失败的恐惧拖垮,专注于自己真正热爱的突破。
她当天留给台下的判断是:技术的终局不是取代人,而是让人更有能力做只有人才能做的事。世界模型无论渲染得多逼真、模拟得多精确、规划得多聪明,如果最终削弱了人对自己生活的决定权,那它就是一条走错了方向的路。
2026 年 AASF Frontiers & Pioneers Symposium 于 8 月 7 日至 9 日在斯坦福大学 Memorial Auditorium 举办。