AREX Feed Article
Karpathy 谈 LLM 新阶段：告别"画鹈鹕"、迎接"造世界"，但模型还缺一双眼睛
"它居然真的做出了点什么"
Andrej Karpathy 把《指环王》开篇第一段文字扔给了 Anthropic 最新模型 Opus 5，配上 100 万 token 的预算和一条指令：用 Three.js 渲染这个故事。
两个小时后，Opus 5 交出了 5500 行代码。代码跑起来是一段动画：低多边形风格的夏尔丘陵上，袋底洞的圆形木门嵌在土坡里，云层缓缓移动，树叶在风中摇晃。草丛里站着几个 NPC。Karpathy 的评价简洁："有点糙但好玩"（kind of janky but fun）。
整个实验的成本是大约 10 美元。
他在推文里写道："想想看，这个 LLM 需要在 (x,y,z) 坐标系里放置和编排各种多边形素材，写代码让它们全部动起来。而它居然真的做出了点什么，这件事本身就有点不可思议。"
这条推文在不到 12 小时内获得 3400 多个赞、270 多条回复和 22.8 万次浏览。Elon Musk 在下面回了一个词："Yah。"
Karpathy 在 Anthropic 的第一篇长帖
Karpathy 上一次在 X 上发长帖，还是三个月前宣布加入 Anthropic 的时候。
2026 年 5 月 19 日，这位 OpenAI 联合创始人、前特斯拉 Autopilot 和 FSD 负责人、AI 教育平台 Eureka Labs 的创始人在 X 上写道："我加入了 Anthropic。我认为 LLM 前沿的下一个几年将尤其具有塑造力。我很兴奋能加入这里的团队，回到研发一线。"
在 Anthropic，Karpathy 进入 Nick Joseph 领导的预训练团队（pre-training team），负责组建一个专门使用 Claude 加速预训练研究的新小组。预训练是大模型最昂贵、最吃算力的环节。TechCrunch 在当时的报道中评论道，Anthropic 把 Karpathy 放在这个位置，表明它相信 AI 辅助研究（而非纯堆算力）才是与 OpenAI 和 Google 竞争的关键路径。
Opus 5 在 7 月 24 日发布。Anthropic 的定位很直接：一款"以一半的价格接近 Fable 5 前沿智能"的模型。在 Frontier-Bench、ARC-AGI 3、CursorBench 3.2 等多个基准上，Opus 5 都刷新了当时的最高分。尤其是在 ARC-AGI 3 上，一个要求模型解决全新问题的评估，Opus 5 的得分是第二名模型的三倍。
9 天后，Karpathy 用这条推文交出了他在 Anthropic 时代的第一次公开实验报告。它不是一篇论文，也不是官方技术博客。它是一条周末随手做的实验。但它的三个核心判断刚好画出了 LLM 此刻的能力等高线。
画鹈鹕的测试过时了
Karpathy 开篇第一句就戳破了一个 AI 圈的共识："我们正在离开'画一只骑自行车的鹈鹕'作为 LLM 测试手段的领域。"
"画鹈鹕"是过去两年最出名的非正式基准测试。它始于开发者 Simon Willison：每次新模型发布，他都会用同一句 prompt 测试："Generate an SVG of a pelican riding a bicycle"（生成一只骑自行车的鹈鹕的 SVG）。这个测试因为足够刁钻——鹈鹕的体型比例、自行车的机械结构、两者之间的空间关系都需要模型有真正的几何理解力——逐渐成为 Hacker News 每次新模型讨论帖里最受关注的评论。Willison 本人后来也承认，"pelican-on-a-bicycle"已经成为他博客最高频的标签之一。
今年 7 月，独立研究者 Dylan Castillo 在博客中发表了一项系统研究《Are AI labs pelicanmaxxing?》（AI 实验室在为鹈鹕刷榜吗？）。他测试了 GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash 等 7 个前沿模型，在 48 种"动物+交通工具"组合上各生成 3 张 SVG，总共 1008 张图像，再用一个 LLM 裁判评分。结论是：没有证据表明实验室在为鹈鹕特化训练。"鹈鹕"在 8 种动物中排第 6，"自行车"在 6 种交通工具中排倒数第二。Castillo 写道："画猫和鲸鱼都比画鹈鹕容易。"
Karpathy 的判断比这项研究走得更远。他不是在说"画鹈鹕"被人为刷分了，而是在说这个测试本身正在变得无关紧要。不是因为模型把它完美解决了，而是因为 LLM 的能力边界已经移到了别的地方。
他的新测试和"画鹈鹕"不在一个数量级上：模型需要理解一段叙事文本，把它拆解为空间场景，在 3D 坐标系中放置和编排多边形素材，再写代码让它们按时间线动起来。没有正确答案。它必须自己做出一系列创作决策：袋底洞应该是什么颜色？天空应该有多亮？摄像机应该从哪个角度切入？
AI 基础设施工程师 Vaishnavi（@_vmlops，2 万粉丝）在引用中写道："这才是真正的转变：LLM 基准正在从'画一只骑自行车的鹈鹕'变成'模拟整个世界并编排它'。Opus 5 花了 2 小时、5500 行代码把《指环王》的一段变成了一个程序化 Three.js 渲染。最疯狂的不是它有多精致，而是它真的存在。"
10 美元就能造一个中土世界
Karpathy 的第二条观察是一个经济逻辑的翻转："我喜欢这类例子，因为没有任何心智正常的人会花时间写这么定制化的东西。但 LLM 拥有世界上所有的耐心和耐力。所以这是一个从'没人会这么做'变成'当然，为什么不呢，它基本免费'的例子。"
"基本免费"是关键词。10 美元、2 小时、5500 行代码。换成任何人类开发者，这个投入产出比都是荒谬的。没有前端工程师会为一个周末的玩票项目手写 5500 行 Three.js 来渲染一本小说的第一段。但当成本趋近于零时，"值不值得做"这个问题本身被消解了。
Karpathy 接着推演了路径的终点："我对创造超定制的世界感到兴奋，你可以想象把玩家扔进这些世界里，比如作为观众 NPC 参与《指环王》的故事，或者扮演其中一个角色。就像一种按需生成的、暂时的 GTA。"
这个类比指向的不是游戏引擎替代，而是一种新的内容形态：故事→世界→体验，全程由 LLM 在推理时独立完成。输入不再是代码或设计稿，而是意图。一位引用者 Steve Rawat（@rawattsumit）把这一点提炼得很准："未来不是 AI 替代软件，而是 AI 创造那些原本永远不会存在的软件。"
归藏（@op7418，中文 AI 社区知名博主，16 万粉丝）在引用推文中特别指出，这是 Karpathy "去了 Anthropic 以后，第一次发长帖"，并注意到他"想了一个新的测试方式，摆脱了那种靠画'骑自行车的鹈鹕'的测试"。
另一位引用者、自称"追逐电影超级智能"的 Tom Löwe（@TomLoweCinema）点出了一个更具体的痛点："问题在于 agent 控制视频或游戏生成时缺乏辨别力。Agent 不知道视频好不好，不知道人物在说话或走路时是否卡顿，不知道 prompt 是否真的被实现了。一旦这个辨别闭环被关上，进展会极快。"
LLM 看不见自己写的代码跑起来的样子
整条推文最尖锐的判断在第三段。
Karpathy 直截了当地写道："世界/游戏这个领域暴露了 LLM 的一个弱点：它们不能轻易地审计自己的工作，因为它们无法高效、原生地感知视频或在其中玩游戏。在这次实验中，Opus 5 不得不非常缓慢地、痛苦地在不同时间点截取屏幕截图，而且它搞砸了几次，制造了不少 bug。"
这是一个结构性缺陷。LLM 可以写出让 3D 场景动起来的代码，但它无法"看到"动画是否流畅、角色是否碰撞、叙事节奏是否成立。它只能通过截屏来猜测自己的输出是否正确。截屏是静态的、稀疏的、间接的信号。一个人类开发者在写完 Three.js 代码后，打开浏览器看一眼就知道有没有问题。LLM 没有这个能力。
AI 工具开发者艾略特（@elliotchen100，2.6 万粉丝）在引用中把这个问题拆解得更加具体："代码有编译器、测试和日志作为反馈。但在动态 3D 世界里，Opus 5 只能缓慢地截取几张图。它看不到连续的状态变化，也很难判断动作、碰撞和叙事是否真的成立。没有可读的反馈，自我改进就没有闭环。"
游戏公司 Series Entertainment 的 CTO Lorenzo Nuvoletta（@nuvolore，曾参与开发 Monopoly GO 和 Scrabble GO）问得更直接："要让 LLM 在这方面变得更好，需要改变什么？"
Karpathy 没有给出答案。但他把问题框得很清楚：这是一种"原生能力"（raw capability）的缺失，涉及多模态感知和游戏内操作。他认为这些能力"目前还相当缺乏"。
Opus 5 做得不差。正相反，它在没有眼睛的情况下，靠反复截屏、猜测、调试，还是交出了一个能跑通的三维场景。问题是这种方式不可扩展。每多一个场景，就需要成倍的自检成本。Karpathy 提到 Opus 5 在过程中"搞砸了几次"，这些错误如果模型自己能实时"看到"，本可以在几秒内修正，而不是花掉额外的 token 和时间来反复截屏推断。
一位回复者提出了一个更大胆的假设方向：世界模型（world model）。"对物理和视觉的'直觉'理解不是我们应该期望 LLM 独自掌握的任务，"他写道，"有趣的是看到多模态模型从这种理解中受益。"
下一步不是更好的生成，而是更好的感知
Karpathy 的这三条观察连起来看，是一幅清晰的路线图。
第一阶段已经发生：LLM 从"画一只结构勉强正确的鹈鹕"进化到"从一段文字生成一个可探索的 3D 世界"。这是能力边界的一次跳跃，不只是量变：从静态单帧到动态多帧，从二维画布到三维空间，从"画什么"到"造什么"。
第二阶段正在发生：成本曲线把"没人会做的事"变成"为什么不"。10 美元买一个 5500 行的定制 3D 体验。这个数字放在一年前是不可思议的。Karpathy 说的"暂时的 GTA"未必在明天出现，但经济条件已经成立。
第三阶段是明牌缺口：LLM 能生成世界，但不能感知世界。反馈回路没有闭合。Perplexity CEO Aravind Srinivas 在其他场合说过一句类似的话：评估比生成难一个数量级。Karpathy 把同样的判断放到了一个更具体的场景里：不是评估代码的正确性（那个有编译器），而是评估一个动态视觉体验的质量。这需要模型能"看"。
这条推文不是一篇论文。它是 Karpathy 在一个周末，打开 Opus 5、输入一段托尔金、等了两个小时、看了一段有点糙的动画之后，在 iPhone 上敲出来的三段观察。但正因为它不正式，它比大多数论文更诚实地标记了 LLM 此刻的能力边界：生成侧在加速冲刺，感知侧还没系好鞋带。
参考链接：
- _