AREX Viewpoint Article
Transformer 为何遇上物理就失灵？Anima Anandkumar
导读
8月25日，路透社报道，加州理工学院教授 Anima Anandkumar 与 Benedikt Jenik 在离开贝索斯支持的 Prometheus 后，选择独立创办 Accelerated Understanding。与 Prometheus 在 6 月完成 $12B B 轮融资的路径不同，这家新公司被定位为基于神经算子的企业级物理 AI，目标不是更大的语言模型，而是物理模拟与发现。Anandkumar 在社交媒体上确认了这一消息，表示团队正在训练能够模拟物理现象的大规模模型。
这一动作把技术路线之争从论文推到了公司层面。几乎同一周发布的 Latent Space 播客访谈，给出了这场选择的完整逻辑：主流 AI 把大部分注意力放在语言上，但科学真正的瓶颈不是生成想法，而是验证想法能否在物理世界成立。Accelerated Understanding 的成立，正是这一判断的产业化表达。
访谈中最关键的解释是为什么物理问题不能用大语言模型的缩放逻辑解决。Anandkumar 指出，标准神经网络被固定分辨率锁死，而物理世界从原子到行星都是多尺度的；Transformer 在高分辨率下会因二次复杂度变得不可承受。她提出的替代方案是神经算子：把输入和输出建模为连续函数，学习函数空间之间的映射，从而在推理时自由缩放分辨率。这不仅是技术细节，而是决定物理 AI 能否走向实际部署的分水岭。
视频给出的实证比口号更有说服力。她回顾 FourCastNet 天气模型：传统上需要超级计算机，而神经算子版本只需一块消费级 GPU，精度接近传统模型且快数万倍，并率先开源，使全球南方的小型气象机构也能获得同等预报能力。在聚变领域，AI 仅用几千个样本就能预测等离子体破裂，速度比传统模拟快一百万倍。她由此提出一个反直觉结论：物理世界比想象中更宽容，因为极端事件具有明确的物理签名。
这直接关系到 Accelerated Understanding 的定位和监管风险。Anandkumar 在访谈中强调，AI for science 不应被当作聊天机器人来监管，政策目标应当是让全球都能获取算力和工具。作为联合国秘书长科学咨询委员会成员，她正在把这一证据视角带入政策讨论。因此，这期视频不仅是创业故事的背景注脚，而是解释新公司技术护城河、实证依据和政策立场的原始材料。
核心结论
- AI 的核心价值必须从生成想法转向验证物理世界中的可行性：语言模型擅长产生假设，但科学进步的真正卡点在于测试和验证这些想法是否在真实世界成立。只有提供可验证保证的 AI 系统，才能被安全地用于无人机、核反应堆等物理场景。
- 神经算子以连续函数建模突破了固定分辨率的根本限制：标准神经网络被固定分辨率锁死，而物理世界是多尺度的。神经算子将输入输出建模为可无限分辨的连续函数，使模型能在推理时自由缩放分辨率，这是所有后续应用的技术基础。
- 物理世界的潜在结构让罕见事件也能被少量数据有效学习：飓风、等离子体破裂等极端事件虽然罕见，但具有明确的物理签名。AI 通过揭示这些潜在结构，能在仅有数千样本的情况下做出准确预测，甚至比传统模拟快百万倍，直接回应了数据稀缺的质疑。
- 天气建模已被 AI 颠覆，消费级 GPU 即可达到超算精度并推动全球民主化：FourCastNet 在精度接近传统模型的同时将计算时间压缩数万倍，且率先开源，使全球南方的小型气象机构也能获得过去只有大型机构才能达到的预报能力。球面几何约束进一步让同一模型同时胜任天气与气候模拟。
- AI for science 需要独立的监管逻辑，而非被当作聊天机器人一刀切：现有监管框架将 AI 等同于语言模型，只关注操纵和误导风险，却系统性低估了 AI 在科学发现中的巨大益处。政策目标应是推动算力和工具的民主化获取，让全球都能参与研究。
观点拆解
1. AI 必须从语言模型转向物理世界，因为科学瓶颈在于验证而非生成想法
-
语言模型擅长产生想法，但科学的核心瓶颈是验证想法能否在真实世界成立：Anima Anandkumar 指出，语言模型可以用于假设生成、产生大量想法，但“想法”本身并不足够。科学进步的关键卡点在于测试和验证这些想法是否在物理世界中真正有效，因此 AI 的发展重点必须从生成层面转向可验证层面。
“人们一直在思考如何将语言模型用于科学，是的，你可以做大量的假设生成，你可以有想法，但想法是不够的。你可以有很多想法，瓶颈在于测试和验证它们能否在真实世界中成立。”
-
AI 系统必须提供可验证的保证，才能被安全地用于物理世界和科学领域：Anima 强调，当神经网络被嵌入控制回路——无论是无人机还是核反应堆——我们需要的不仅是预测能力，更是对鲁棒性的形式化保证。TorchLean 等工具的意义在于让神经网络本身成为验证回路的一部分，从而建立使用信心。
“你可能想验证神经网络自己声称能交付的东西。比如，如果你现在使用一个神经网络，你想问它是否会鲁棒，假设你想在控制回路中使用神经网络，你想控制的是无人机还是核反应堆。”
“现在 TorchLean 可以帮助我们无缝地完成这些验证，这样我们就可以让神经网络成为验证回路的一部分，并有信心适当地使用它们。”
-
AI 用于科学需要两条互补路径：保持物理正确性的建模与符号化形式验证：Anima 将她的研究框架概括为两个相互支撑的方向：一方面通过神经算子等方法确保模型保持物理规律正确，另一方面借助 Lean 等形式语言对定理和神经网络行为进行符号化验证。两者结合才能让 AI 真正服务于科学发现。
“一个方面是能否建模并保持物理正确性，这就是神经算子的用武之地。另一个方面是能否对某些方面进行符号化验证，比如如果我们声称某个定理是正确的，我们就必须去验证它，这就是 Lean 作为一种形式语言可以用于验证的地方。”
2. 神经算子通过把世界建模为连续函数，突破了传统神经网络固定分辨率的根本限制
-
标准神经网络被固定分辨率锁死，而物理世界本质上是多尺度的：Anima Anandkumar 指出，语言、图像和视频模型都预设了固定的词汇表或分辨率，训练后无法改变；但物理现象从原子到行星尺度都在连续发生，事先决定分辨率会漏掉更精细尺度的真实过程。这一对比直接点明了传统深度学习路线在科学问题上的根本局限。
“标准神经网络的输入和输出都是固定尺寸的……我们假设一个固定分辨率，输入输出始终在那个固定分辨率上，事后无法改变。”
“我们的世界本质上是多尺度的，所以你不应该事先决定分辨率是什么。”
-
神经算子把输入输出建模为可无限分辨的连续函数，从而在推理时自由缩放分辨率：神经算子的关键突破在于它不是学习固定网格上的映射，而是学习函数空间之间的映射。这意味着模型可以在推理阶段接受任意分辨率的输入并产生任意分辨率的输出，不再受训练分辨率的限制，为捕捉多尺度物理现象提供了技术基础。
“神经算子把输入和输出建模为连续函数，这些函数可以被无限分辨，可以有无限的离散化；在推理时，你可以给它输入，并要求得到任意分辨率的输出。”
“神经算子是一类允许我们拥有任意分辨率输入和任意分辨率输出的模型，它学习的是函数空间之间的映射，这就是它被称为算子的原因。”
-
函数空间表示让模型可以持续放大细节，而固定像素网络一放大就变模糊：Anima 用直观的对比说明了两种模型的差异：标准神经网络在固定像素下放大后只会变得模糊，因为其表达能力已经耗尽；而神经算子由于采用函数空间表示，可以持续放大并加入更高分辨率的数据或物理约束，从而把多尺度现象整合在一起。
“如果你使用标准神经网络，你有一组固定数量的像素，放大后它会变得模糊，那就是它的极限了，在那些固定分辨率之外你什么也捕捉不到。”
“而神经算子因为是函数空间表示，意味着你可以持续放大，可以通过给它更高分辨率的数据或更高分辨率的物理约束来加入相关细节，从而把多尺度现象整合在一起。”
3. 傅里叶神经算子在效率和表达力之间找到了关键平衡，使高分辨率物理建模成为可能
-
傅里叶神经算子在效率与表达力之间取得了关键平衡：Anima Anandkumar 指出，傅里叶神经算子之所以成功，是因为它在计算效率和模型表达力之间找到了一个很好的折中。这一特性使模型既能捕捉复杂的物理现象，又不会因计算成本过高而无法用于高分辨率场景。
“傅里叶神经算子是我们早期提出的架构之一，它之所以如此成功，是因为它在效率和表达力之间取得了一个很好的折中。”
-
傅里叶空间能高效捕捉自然现象中的非局部效应：流体动力学、材料变形和量子化学等自然现象中存在大量非局部效应，而傅里叶变换恰好能高效地捕捉这些效应。同时，傅里叶变换本身计算高效，并且能很好地契合许多自然现象中的归纳偏置。
“傅里叶空间真正让我们能够捕捉非局部现象。我们在自然界中看到的很多现象，无论是流体动力学、材料变形还是量子化学，其中很多都是非局部的。”
“做傅里叶变换是高效的，而且它能很好地捕捉我们在许多自然现象中看到的归纳偏置。”
-
傅里叶神经算子以准线性复杂度替代了 Transformer 在高分辨率下的二次复杂度瓶颈：在高分辨率物理建模中，Transformer 的二次复杂度和全连接机制会变得不可承受。相比之下，傅里叶变换具有准线性复杂度，同时仍能通过全局连接建模非局部现象，因此成为更可行的架构选择。
“如果我们使用 Transformer 并且需要非常高的分辨率，由于二次复杂度和全连接机制，它会变得不可承受。另一方面，如果我们用傅里叶变换来做，我们就有准线性复杂度，同时仍然拥有全局连接，能够建模这些非局部现象。”
“如果每个维度只有几百个网格点——工业规模从每个维度大约一千个网格点开始——我们说的就是数千亿甚至万亿的上下文长度。所以永远不要指望用 Transformer 来处理这种规模的问题，全世界的算力都不够用。”
4. 物理世界比想象中更宽容：极端事件具有特定物理特征，因此少量数据也能有效学习
-
罕见事件反而能被 AI 学好，因为它们有明确的物理签名：Anima Anandkumar 指出，飓风等极端事件虽然罕见，但并非随机噪声，而是具有非常特定的物理特征。这意味着 AI 不需要像人们直觉认为的那样依赖海量样本，也能在首次尝试中就对飓风和风暴做出良好预测。
“物理世界可能比我们想象的更宽容，因为像飓风这样的极端事件具有非常特定的物理签名。”
“它虽然极端，但以一种非常特定的方式极端，所以也许你不需要那么多样本，因为物理世界有大量结构。”
-
少量数据也能支撑准确预测，等离子体破裂预测比传统模拟快百万倍：同样的逻辑在聚变反应堆中得到了验证：即使只有几千个样本，AI 也能准确预测等离子体破裂等事件，而且速度比传统模拟快一百万倍。这说明物理世界的潜在结构让问题变得比表面看起来更容易处理。
“说到等离子体和聚变反应堆，我们几乎只有几千个样本，但我们能够非常准确地预测破裂等事件，而且速度比传统模拟快一百万倍。”
-
AI 的优势在于从数据中揭示潜在结构，而非像传统数值方法那样追求逐场景正确性：Anima Anandkumar 认为，传统数值方法专注于在任何场景下都能正确求解方程，而 AI 通过从数据中学习，能够揭示物理问题中潜在的低维结构和可处理性。这种差异解释了为什么 AI 在数据稀缺的科学问题上仍能取得惊人效果。
“自然帮了我们很多，它有很多潜在空间结构，而我认为传统数值方法无法揭示这些结构，因为它们更关注正确性，即在任何场景下都能求解这些方程。”
“另一方面，AI 从数据中学习，它在揭示这种结构，揭示这些问题实际上有多容易或多可处理。”
5. 天气建模已被 AI 颠覆：单块消费级 GPU 即可达到超级计算机的精度和数万倍的速度
-
2021年气象学家的怀疑被实证推翻：AI不仅能接近传统模型精度，还快数万倍：Anima Anandkumar回顾了2021年启动天气建模研究时，气象学家普遍警告AI无法匹敌数十年积累的自底向上物理建模。然而，使用神经算子训练出的模型在精度上几乎与传统天气模型相当，同时速度提升数万倍，直接推翻了当时的行业共识。
“很多气象科学家当时确实警告过我们，那是2021年，他们说不行不行，这太难了，传统天气预报已经有几十年的发展，那是非常精细的自底向上的物理建模。”
“令我们惊讶的是，我们发现它不仅准确，几乎和传统天气模型能达到的精度一样接近，而且还快了数万倍。”
-
单块消费级GPU取代超级计算机，天气建模的计算门槛被彻底拉低：传统天气模型需要大型超级计算机才能运行，而FourCastNet作为一个小型模型，仅需一块消费级GPU即可完成推理，同时保持快速和准确。这一对比凸显了AI方法在计算资源需求上的数量级优势，使高精度天气预测不再依赖昂贵的超算基础设施。
“过去需要大型超级计算机才能运行的事情，现在可以运行了，而且我们只需要一块消费级GPU，它是一个小模型，运行得很好，非常快，而且准确。”
-
率先开源FourCastNet推动了全球天气建模的民主化，尤其是赋能全球南方：FourCastNet是第一个以宽松许可开源天气模型的项目，这使DeepMind、华为等后续跟进者以及各类公司和气象机构得以在其基础上构建。更重要的是，它让全球南方的小型气象机构也能获得过去只有大型机构才能达到的预报精度，实现了天气建模能力的民主化。
“我们是第一个真正开源天气模型FourCastNet并以宽松许可发布的，这让公司、气象机构、所有人都能在我们的基础上进行构建。”
“它让我们现在能够使全球南方的小型气象机构获得与过去只有非常大的机构才能做到的同等精度，所以这是在民主化天气建模。”
6. 要统一天气与气候模型，必须把地球当作球体而非矩形
-
矩形假设让传统 AI 天气模型在长期滚动中迅速失稳：Anima Anandkumar 指出，许多 AI 天气模型虽然短期预测精度不错，但它们把地球当作矩形来处理，一旦运行到数月甚至更长时间，模型就会迅速发散。这说明几何假设不是细节问题，而是决定模型能否长期稳定的根本约束。
“很多架构在短期天气预测上已经能取得相当好的精度，但当你把它们运行到更长时间，比如几个月甚至一年，甚至在那之前，它就会非常迅速地发散，因为它假设世界是一个矩形，而世界并不是。”
-
球面几何约束是同一模型同时做天气与气候模拟的关键：FourCastNet 3 之所以能同时处理短期天气和长期气候，是因为它把地球的球面几何信息直接嵌入神经算子。Anandkumar 强调，气候模拟必须假设世界是一个球体，而其他架构做不到这一点，因此只有球面约束的模型能作为 AI 气候仿真器工作。
“你还融入了地球的球面几何，把这些几何信息纳入神经算子，意味着我们可以忠实地用同一个模型运行更长时间，并把它变成气候模型。”
“它是唯一一个能作为 AI 仿真器工作的模型，其他架构都不适用于气候，因为气候要求我们假设世界是一个球体，而且如果你反复滚动推演，你需要保留这些信息。”
-
球面假设带来更长的稳定滚动，但极区仍是难点：Anandkumar 通过对比实验说明，矩形假设的模型会迅速发散，而球面假设的模型能持续滚动并保持稳定。不过她也坦承，在完全没有物理约束的纯外推情况下，极区仍会出现奇异性，说明球面几何是必要但不充分的稳定条件。
“我们的目标是用同一个模型也做长期预测，而融入球面几何带来了额外的稳定性，让我们能做更长的滚动推演。”
“左边假设世界是矩形，它非常迅速地发散；右边因为我们假设世界是球体，它持续滚动并保持稳定。”
“这是一个非常长的滚动推演，我们没有物理护栏，也没有把它投影到正确的物理上，这是完全的外推，但球面假设让它比左边稳定得多。”
7. AI 正在从模拟走向逆向设计，能够发现人类难以手动构思的新方案
-
数字孪生让聚变反应堆等高风险设计可以在虚拟环境中大胆探索：Anima Anandkumar 以托卡马克聚变反应堆为例说明，AI 能够以比传统模拟快百万倍的速度建立等离子体数字孪生，从而在数字环境中测试不同设计方案。这改变了物理世界中原型制造必须预先排除高风险方案的限制，使研究者可以更开放地探索多种技术路线，而不必过早押注单一方案。
“我们能够对复杂的等离子体演化进行建模，而且速度比传统模拟快一百万倍，从某种意义上说，我们正在创建等离子体的数字孪生。”
“AI 让我们能够更大胆地承担风险、探索不同的方法；而在物理世界中，要建造这些东西，你不得不砍掉很多有风险的方案，然后说我只做这一个，因为这是我会做的，而另一个我不会做，因为它非常困难，不太可能成功。”
-
逆向设计让 AI 从模拟工具升级为提出人类难以想到的优化方案：Anima 指出，AI for science 的关键跃迁在于从正向模拟转向逆向设计：不再是由人类先提出设计方案再去验证，而是让 AI 在物理约束的保障下直接求解最优设计。她以逆光刻掩模设计、量子门和量子点设计为例，说明这些高度非线性的问题正是人类直觉难以胜任的领域，而 AI 能够提出高效且经过模拟验证的新方案。
“另一个真正有趣的方面是逆向问题：我现在不只是模拟，而是问什么是最好的设计。以前是人类先想出设计，然后去模拟或去风洞做物理测试来验证；现在 AI 可以提出优化设计，而且你有物理的护栏，有准确的物理模型，有信心它们能正常工作。”
“人类通常不擅长这个：我们不擅长观察高度非线性的现象，然后说，哦，也许这些门以某种方式组合在一起，就能在量子门中把电子聚拢起来。我们的合作者之前手动做这件事非常困难，而有了 AI，我们现在能够提出非常高效的设计，而且我们知道它们确实有效，因为模拟已经作为闭环的一部分验证了它们工作良好。”
-
AI 驱动的逆向设计正在催生真正的新发现，而不仅仅是更快的模拟：Anima 强调，这些案例的共同点在于 AI 不只是替代传统模拟，而是进入了人类难以手动构思的设计空间。她将这一趋势与构建物理基础模型的愿景联系起来：未来的模型应当能够处理多物理场耦合，并在同一框架内同时支持模拟与设计，从而推动真正的新颖设计和科学发现。
“我们已经有语言的基础模型，也许还有视觉的，但还没有物理的基础模型。理想情况下，我们会有更广泛的模型，能够处理一系列现象，而且是多物理场的——不只是单一物理，而是耦合的物理，因为真实世界中的所有物理都是以耦合方式汇聚在一起的。”
“我认为这些例子表明，这不仅仅是关于模拟，而是关于真正新颖的设计和新颖的发现。”
8. AI for science 不应被当作聊天机器人来监管，一刀切的监管框架会阻碍科学进步
-
监管框架把 AI 等同于语言模型，导致“一刀切”逻辑忽视 AI for science 的独特价值：Anima 指出，许多监管框架将 AI 与语言模型划等号，只关注操纵、误导等危害，却忽略了 AI 在科学发现中的巨大益处。她认为这种“一刀切”是问题的主要来源，因为 AI for science 的风险和收益结构与生成式 AI 根本不同。
“很多监管框架把 AI 等同于语言模型，是的，语言模型可能会操纵人、产生各种我们应该知道如何控制的有害影响，但 AI for science 是不同的，所以我认为这种“一刀切”正是很多问题的来源。”
-
AI for science 的益处被系统性低估，政策讨论需要科学家的在场与证据视角：Anima 强调，当人们只关注 AI 的有害影响时，AI 在科学领域的许多有益方面往往被忽略。她认为让科学家参与政策讨论、提供科学证据，是确保 AI 全球影响被全面评估的关键。
“作为科学家，我认为 AI 有很多有益的方面，当我们只考虑有害影响时，这些益处有时会被忽略，尤其是 AI for science 这一块。”
“让科学家在场，尤其是在与 AI 相关的方面，我认为非常重要。我希望自己能保持公正的视角，并尝试为任何议题提供科学证据。”
-
政策目标应是让全球都能获取算力、工具和 AI for science 的研究能力，而非只谈风险控制：Anima 呼吁推动算力和工具的民主化获取，让世界各地的人不仅能从 AI 的发现中受益，还能亲自参与研究。她认为没有足够的算力就无法实验和创新，这是她在联合国平台上积极推动的方向。
“我们必须意识到，有些 AI 可以通过新发现改变世界，我们应该让世界各地的人不仅能从中受益，还能自己做研究，能够接触到 AI 并用有趣的方式使用它们。”
“没有足够的算力，我们就无法实验、无法创新。这是我一直大力推动的部分。”
总结
AI 的真正分水岭不在语言能力，而在能否进入物理世界并接受验证。神经算子证明，当模型尊重物理世界的连续性和几何结构时，它不仅能以极低成本达到超算精度，还能从罕见事件中学习、从模拟走向逆向设计。这意味着 AI for science 不是生成式 AI 的附属品，而是一条独立的技术路线，需要独立的评价标准和监管框架。如果政策继续用聊天机器人的逻辑来约束科学 AI，我们失去的将不只是效率提升，而是发现人类难以构思的新方案的可能性。
信息源
视频来源
- 🔬 The Physical World Is More Forgiving Than You Think — Anima Anandkumar, Caltech：
外部资料
- The AI founders who walked away from Bezos-backed ...：
- Accelerated Understanding Unveils Non-Transformer ...：
- Accelerated Understanding Launches AI Models for ...：
- Prof. Anima Anandkumar on X：
- Anima Anandkumar Appointed to UN Scientific Advisory ...：