AREX Viewpoint Article
AI在错误的抽象层级学习？对话统计物理学家Matthieu Wyart
导读
最近，alphaXiv 上的一篇预印本由 Parley、Cagnetta 和 Wyart 合作完成，证明深度网络能够学会解析均匀深度上下文无关语法。这个结果把“深度网络到底在理解还是记忆”的问题重新推到前台：网络不是复制样本，而是掌握了生成规则；它也直接触及乔姆斯基关于刺激匮乏的经典争论。
同一方向的经验证据并不止于语言。2025年《美国国家科学院院刊》发表的一项研究，在扩散模型中发现了相变现象：生成过程在不同层级特征上依次展开，从粗粒度到细粒度，揭示了自然数据具有层级结构。语言与图像两类证据汇合，使层级结构从假设变成了可检验的共识。
但观测到层级结构，还不等于解释深度网络为何能利用它。怀亚特在 Machine Learning Street Talk 的访谈中给出了机制性说明：深度架构具有隐性归纳偏好，会逐层构建“粗粒化变量”。浅层网络只能死记硬背，深度网络却能像物理学家提取压力、场一样总结数据，从而用多项式级样本克服指数级维度灾难。
这一机制也揭示了当前大语言模型的学习错位。模型在原始词元或像素层面进行预测，高层抽象概念与低层特征的相关性沿层级树逐级衰减。抽象层次越高，信号越容易被噪声稀释，学习所需数据量随树深度指数增长。换句话说，模型的数据饥渴不只是算力问题，而是学习发生的抽象层次选择问题。
怀亚特的解释还延伸到最深处。他把过参数化中的双重下降比作物理中的阻塞相变：欠参数化时损失地形粗糙多亚稳态，参数越过临界点后地形变为连通平坦山谷。这种跨系统类比说明，深度学习与沙堆等复杂系统共享同一普适类，也为“过参数化为何有效”提供了第一性原理线索，而不只是经验观察。
视频由此提炼出明确的技术决策准则：与其在词元空间预测，不如预测模型自身或教师模型的潜在表征。怀亚特与合作者2026年提出的样本复杂度理论支持这一点——内省式算法最终学到相同抽象，但所需数据显著减少。业界对潜在展望训练的探索也表明，这已经是下一轮架构竞争的实际方向。
这正是本期视频的新闻价值：它把新近语法解析证据、扩散模型相变、物理相变类比和潜在预测理论放进同一条因果链。读者获得的不是一个模型发布消息，而是一套判断当前AI瓶颈位置的方法。如果隐藏层级与潜在预测路线成立，下一步竞争的焦点可能不再是堆更多语料，而是找到正确的抽象层次。
核心结论
- 深度网络通过逐层发现数据的隐藏层级结构来克服维度灾难，这是其泛化能力的根本来源：真实世界数据具有“部分构成整体”的层级结构。深度架构具备一种隐性归纳偏好，能像物理学家构建粗粒化变量一样，从统计数据中逐层提取抽象概念，从而用多项式级的数据量解决指数级维度的问题。浅层网络则完全无法学习这种生成语法，只能死记硬背。
- 深度网络在语法层面构成了对乔姆斯基“刺激匮乏”论点的反例，但离真正的科学创造力还很遥远：深度网络仅凭少量例句就能学会生成符合语法的新句子，在样本效率上反驳了乔姆斯基的经典论证。然而，这仅限于语法层面的创造力。变革性的科学创造力需要与物理世界互动、发现有趣的新子空间并构建简化模型，仅靠扩大规模扫描现有文本无法实现。
- 在潜在空间而非词元空间进行预测，是弥合人机学习效率鸿沟的关键技术方向：当前大语言模型在原始词元级别进行预测，导致高层抽象信号被噪声淹没，需要海量数据。如果让模型预测自身或教师模型内部的潜在表征，就能利用更强的相关性，以少得多的数据学会相同的抽象概念。这为突破当前“数据饥渴”瓶颈提供了明确的理论依据。
- 神经网络的损失景观与沙堆等物理系统共享相同的相变普适类，过参数化本质上是一种物理相变：当模型参数不足时，损失景观粗糙多亚稳态，训练容易陷入局部最优；一旦参数越过临界点，地形就变得平坦连通，系统可以自由流动到零损失区域。深度学习中的“双重下降”现象正是这种阻塞相变的表现，为理解过参数化为何有效提供了第一性原理的解释。
- 抽象概念并非被编程，而是通过聚类“预测相似上下文的配置”而自然涌现，且不同架构最终会收敛到相似的层级分解：无论是LLM还是扩散模型，其内部的概念形成完全源于数据统计。模型会将能预测相似上下文的像素或词元配置自动归为一类，从而涌现出更高层的抽象概念。在理想模型中，只要网络足够深，不同架构最终都会发现几乎相同的层级化抽象，暗示数据本身存在一种“自然分解”的趋势。
观点拆解
1. 深度网络通过发现数据的隐藏层级结构来克服维度灾难，这是浅层模型无法做到的
-
浅层网络只能死记硬背，无法学习数据背后的生成语法：怀亚特通过理想化实验证明，浅层网络在面对具有层级结构的数据时，完全无法提取其生成规则，只能机械地记忆见过的样本，这恰好印证了乔姆斯基等人对统计学习的批评。然而，这恰恰反衬出深度架构的必要性——只有深度网络才能打破这种局限。
“我们发现，如果你有一个浅层网络，那么沙姆斯基所担心的就完全正确了。有些东西你学过，这种有趣的生成语法你学不到。你基本上只能死记硬背，什么都做不了。”
-
深度架构具有隐性的归纳偏好，能像物理学家一样提取粗粒化变量：深度网络之所以成功，是因为其层级结构天然倾向于构建“粗粒化变量”。怀亚特用物理学类比指出，网络并非在死记像素或单词，而是像物理学家定义压力和场一样，从统计数据中自发涌现出对隐藏层级结构的理解，从而用抽象概念来表征世界。
“深度架构能够解决这一任务的原因正是因为它们像物理学家理解压力、速度和场一样理解这些概念。他们通过统计数据了解了这种隐藏的层级结构，否则他们永远无法完成这项工作。”
“如果你有一个深度架构，就会存在一种巨大的隐性倾向，即构建那些粗粒度的变量。这种层级式架构很容易导致一些迭代计算。”
-
通过发现层级结构，深度网络用多项式级数据克服了指数级维度灾难：高维数据带来的维度灾难意味着，如果仅靠插值，所需数据量将呈指数级增长，远超宇宙原子总数。怀亚特指出，深度网络通过逐层提取“街道”或“物体”等高层抽象概念来总结数据，而非逐像素描述，从而大幅降低问题维度，仅需多项式级的数据即可实现泛化与创造。
“你只有把这些要点联系起来，才能进行推断并具有概括的能力。这意味着你拥有指数级增长的数据量。你拥有的数据比宇宙中的原子还多。所以这根本不可能。”
“一旦他们发现了这些数据，就会对数据进行某种形式的总结，而不是逐像素地描述。哦，它有鼻子、耳朵等等。所以你实际上是在降低问题的维度，从而可以解决维度灾难。”
“假设在我们的模型中，如果 D 是句子的长度，句子数量会随着 D 呈指数级增长，但你只需要看到 D 的幂次方个句子就能进行创作。”
2. 乔姆斯基的“刺激匮乏”论点在深度网络面前并不成立，但机器离真正的科学创造力还很远
-
深度网络的隐性层级偏好构成了对乔姆斯基“刺激匮乏”论点的直接反例：怀亚特通过随机层级模型证明，浅层网络面对复杂的生成语法只能死记硬背，这恰好印证了乔姆斯基的担忧；但深度架构具有一种强烈的隐性归纳偏好，会自发地构建粗粒度的层级变量，从而仅凭少量例句就能学会生成符合语法的新句子，在样本效率上实现了对“刺激匮乏”论点的反驳。
“我们发现，如果你有一个浅层网络，那么乔姆斯基所担心的就完全正确了……你基本上只能死记硬背，什么都做不了。但是，如果你有一个深度架构，就会存在一种巨大的隐性倾向，即构建那些粗粒度的变量。”
“通过接触少量句子，确实可以学会创造力……句子数量会随着句子长度呈指数级增长，但你只需要看到句子长度的幂次方个句子就能进行创作。所以这些模型实际上是对他的论点的反驳。”
-
反驳论点不等于否定结论：深度网络并非大脑的完美模型：怀亚特澄清，他只是在逻辑上反驳乔姆斯基的“刺激匮乏”论证，并不因此断言乔姆斯基关于先天结构的结论本身错误。他特别指出，人脑学习语言所需的样本量比当前深度网络少约10万倍，这意味着大脑可能拥有更高效的学习机制，深度网络只是提供了一个存在性证明，而非大脑运作的复制品。
“所以我是在反驳乔姆斯基的论点。但这并不意味着他的推断是错误的，对吧？并不是因为我认为某个论点不正确，所以这个陈述本身就是错误的。我并不是说我们的大脑就像一张深网，没有更智能的机制来更好地学习。事实上，大脑学习所需的词汇量比机器少10万倍。”
-
当前AI的创造力仅限于语法层面，真正的科学创造力需要与物理世界互动并发现有趣的新子空间：怀亚特区分了两种创造力：一种是生成符合语法的新句子，深度网络已经能做到；另一种是变革性的科学创造力，例如牛顿描述行星运动或数学家发明虚数，这需要识别有趣的现象、简化几何模型并与物理世界进行实验互动。他认为，仅靠扩大规模扫描现有文本，无法让机器获得这种发现新子空间的能力。
“它们绝对可以创造新的语法句子。但从更广阔的视角来看，他们缺乏创造力，因为他们不理解我们所理解的世界上许多其他抽象概念。”
“在我看来，变革性创造力是指发现有趣的新子空间……如果你只是把这些图案展示给机器，它会愚蠢地预测下一帧……作为物理学家，我们该怎么办呢？首先，有些人非常善于观察，能够发现哪些事物很有趣。然后你需要简化几何图形。”
“你不能仅仅通过查看所有已写过的东西而不强制执行这些互动来学习它。”
3. 在潜在空间而非词元空间进行预测，是大幅提升样本效率的关键路径
-
在词元级别进行预测，会导致高层抽象信号被噪声淹没：当前大语言模型在原始词元或像素等低层特征上进行预测。随着抽象层次提高，高层概念与低层特征之间的相关性会沿着数据层次树逐级衰减，导致学习高层抽象时信号极其微弱，需要指数级增长的数据量才能从噪声中提取有效信号。
“随着抽象程度的不断提高，就会出现问题，因为你总是试图通过描述它们的预测能力来构建这些抽象概念，但这是在非常低的层面上进行的。当你非常抽象时，你预测像素或颜色等等的方式就变成了一个噪声很大的信号。”
“学习隐藏层级所需的数据量是树深度的指数级增长……每次沿着这棵树移动，我们都必须付出代价，一个乘法代价，也就是我们需要的数据量。”
-
在潜在空间进行预测，可以大幅提升样本效率：怀亚特提出，与其预测原始词元或像素，不如让模型预测自身或教师模型内部的潜在表征。由于高层概念之间的相关性远强于高层概念与低层特征之间的相关性，在潜在空间进行预测能获得更强的信号，从而以少得多的数据学会相同的抽象概念。
“如果我们能在潜在空间中进行预测，那么我们的样本效率将比在环境空间中进行预测高得多。”
“这些方法本质上是通过预测这些配置（不是像素化的房屋绘画，而是附近的房屋概念）来构建街道的概念，这样信号就大得多，因此你需要更少的数据才能从噪声中提取信号。”
-
内省式学习算法最终学会相同的抽象，但速度快得多：怀亚特团队通过理论模型证明，那些能够从自身潜在表征中学习的内省式算法，与在原始空间预测的算法相比，最终会收敛到相同的抽象概念，但构建这些抽象所需的数据量显著减少。这为弥合人机学习效率鸿沟提供了理论依据。
“那些能够从自身潜在信息中学习的内省算法，在样本复杂度方面要强大得多。他们最终会学会同样的抽象概念，但速度会快得多。”
“那些内省的、从自身潜在学习的算法在样本复杂度方面要强大得多，而且它们最终会学习到相同的抽象，但构建抽象的速度要快得多。”
4. 神经网络的损失景观与沙堆等物理系统共享相同的相变普适类
-
神经网络的损失景观与沙堆等复杂物理系统具有相同的粗糙能量地形：马修·怀亚特指出，复杂物理系统（如沙堆）的能量景观充满亚稳态，球扔进去会停在许多不同位置；而神经网络的损失函数地形在欠参数化时表现出完全相同的特征——粗糙、多亚稳态，导致多次训练会收敛到不同位置，模型被“困住”。
“复杂系统是具有粗糙能量分布的物理系统。这意味着，如果你身处其中，感觉就像你刚才那样飞越高山。呃，如果你把球扔进那些山脉里，它可能会停在很多不同的位置，所以能量景观有很多亚稳态。”
“当你欠参数化，也就是参数不足时，你会得到一个粗糙的地形，其中包含许多亚稳态。如果你训练你的机器，并且训练很多次，它最终会停留在不同的位置，实际上被困住了。”
-
过参数化使损失景观发生相变，从粗糙多亚稳态变为平坦连通的山谷：当模型参数越过临界点后，损失景观的性质发生根本改变：地形中出现大量平坦山谷，系统可以自由“流动”到损失几乎为零的区域。这种从“被困”到“可流动”的转变，正是物理学家眼中的相变现象。
“但是，如果你有足够的参数，那么系统突然就可以流动了。你的“地形”中有很多平坦的山谷，你可以进入能量几乎为零的区域。”
-
深度学习中的“双重下降”现象本质上是一种阻塞相变：怀亚特将机器学习中广为人知的“双重下降”现象与物理中的阻塞过渡直接对应。在物理学家看来，双重下降的峰值并非异常，而是一种普遍存在的相变行为，这为理解过参数化为何有效提供了第一性原理的解释。
“我们发现了一个非常相似的现象，大约9年前，其他人也发现了类似的现象，并将其称为双重遗传。所以现在这个名字就这么流传开了，但是对于物理学家来说，这种双重下降的峰值实际上是一种阻塞过渡。”
“在这两种情况下，系统都在试图满足约束条件。嗯，对于沙子来说，颗粒本质上只是试图避免相互碰撞；而对于参数来说，它们共同的目标是拟合数据。所以，你拥有的数据越多，你的约束就越多，最终的普遍性就是我们从物理学中论证的。”
-
类比的核心在于算法层面的梯度下降动力学，而非物质层面的物理限制：面对“神经网络没有物理碰撞限制”的质疑，怀亚特澄清类比的关键不在物质层面，而在于两种系统都在进行梯度下降、沿能量景观向下流动的算法动力学。从抽象层面看，沙粒避碰和参数拟合数据都是约束满足问题，共享相同的普适类。
“我当时其实是在以一种抽象的方式思考这个算法。算法在两种情况下都在进行某种梯度下降，沿着能量景观向下流动，这就是它们的相似之处。这个类比与物质方面无关。诚然，一种情况是物质，另一种情况是算法，但如果你正确思考，它们在某种程度上是相同的。”
5. 抽象概念的涌现源于对相似上下文的预测配置进行组合，且不同架构会收敛到相似的层级分解
-
抽象概念并非被编程，而是通过聚类“预测相似上下文的配置”而涌现：怀亚特以“街道”概念为例，指出无论是LLM还是扩散模型，其内部的概念形成完全源于数据统计。模型会将行人、汽车、人行道等无数种像素或词元配置，根据它们能否预测相似的上下文而自动归为一类，从而涌现出更高层的抽象概念。这意味着概念是数据内在结构的产物，而非人工预设的标签。
“这些抽象概念是涌现的，它们存在于数据中，而这些概念的涌现是通过将预测相似上下文的配置组合在一起实现的。”
“想想街道的概念……你会看到行人、汽车、人行道，以及无数种可能的街道，但如果能有一个概念将所有这些不同的配置组合在一起，那就非常有用。这就是街头概念……如果你将能够预测类似上下文的配置组合在一起，这些概念就会出现。”
-
只要网络足够深，不同架构最终会收敛到几乎相同的层级化抽象：在理想化的数学模型中，无论是Transformer还是CNN，只要网络深度足够，它们发现的高层抽象概念会非常相似。怀亚特强调，这暗示数据本身存在一种“自然分解”的趋势，不同的网络架构只是在逼近这同一组由数据统计决定的层级化概念，尽管在具体的实现电路上可能存在细微差异。
“在我们用数学方法创造的理想世界里，只要网络足够深，这个说法就是正确的……如果你有一个 Transformer 或 CNN 等等，它们实际上构建的抽象非常相似。”
“总的来说，我认为这些抽象概念确实存在，而且确实存在一组能够预测类似环境的配置，如果它们具有很强的信号或预测能力，它们就会更早形成。”
-
学习不同层级抽象所需的数据量遵循可预测的缩放定律，且与架构无关：怀亚特指出，越抽象的层级，其用于预测底层细节（如像素）的信号就越容易被稀释，因此学习起来也越困难。但他们通过物理学的预测与验证方法发现，无论采用何种网络架构，学习不同抽象层级所需的数据量都遵循相似的缩放关系。这为理解深度学习的样本复杂度提供了架构无关的理论视角。
“越抽象的概念越难学习，因为本质上，随着你变得越来越抽象，你的信号就会被稀释。”
“我们预测学习不同抽象层次需要多少数据，我们发现就扩展性而言，无论架构如何，所需的数据量都相似。”
6. 物理学家的使命是为机器学习构建“漫画式”的简化模型，以抓住问题的本质
-
物理学家的核心方法论是通过类比构建“漫画式”的简化模型：怀亚特指出，世界极其复杂，试图用一张等比例的地图去描述世界毫无用处。因此，物理学家的工作本质上是构建一种“漫画式”的捕捉，即抓住问题最本质的特征，而忽略无关的细节。他引用爱因斯坦的观点强调，模型应该尽可能简单，但不能过于简单，这种在复杂与简化之间的张力正是物理学建模的艺术所在。
“世界非常复杂，你知道，如果你试图用一张一英里就是一英里的地图来描述世界，那对你没有任何帮助。所以你需要构建一个对世界的漫画式捕捉。嗯，这是物理学家们所从事的一门艺术。”
“套用爱因斯坦的话来说，一个模型应该是最简单的，但不能比这更简单。所以这意味着存在紧张局势。”
-
伊辛模型是物理学通过极度简化取得突破性进展的典范：为了说明简化模型的力量，怀亚特回顾了物理学史上一个经典案例：一个世纪前，科学家面对磁性相变这一极其复杂的量子力学现象，最终取得突破并催生诺贝尔奖的，却是一个极其简单的伊辛模型。该模型仅用一排相互作用的箭头来描述自旋，这种粗略的描述反而成为了理解相变本质的最佳途径，证明了抓住核心特征比还原所有微观细节更重要。
“如果从微观层面来看，那就是极其复杂的量子力学。但你知道，真正深入人心并在相变方面取得巨大进展，并催生了诺贝尔奖、数学中的媒体领域等等的描述，是一个非常简单的模型，即伊辛模型，其中本质上是一条横线上的箭头，它们与相邻的箭头相互作用，试图对齐。”
-
当前深度学习时代呼唤卡诺式的人物来构建理论“高速公路”：怀亚特将当前深度学习的技术爆炸类比于工业革命时期热机的出现。当时技术走在了理论前面，直到卡诺通过一篇几乎没有数学的哲学式文章奠定了热力学基础，才让人类真正理解了热机的效率极限。他认为，今天的深度学习同样需要物理学家介入，通过构建简化理论来建立一条“快速思考问题的高速公路”，从而在技术狂飙的时代提供方向性的直觉和指导。
“我认为我们也需要理论来构建一条快速思考问题的“高速公路”。”
“工业革命，当热机出现的时候，又是一个技术先行的例子。然后你必须理解……了解它们背后的原理，它们的效率能有多高，它们的效率极限等等。然后，一位名叫卡诺的法国物理学家写了一篇优美的文章，读起来像哲学，基本上没有数学，引入了熵之类的概念，这就是热力学的开端。”
“就像卡诺时代一样，你知道，我们正面临着新技术，它提出了许多问题，我们应该……我想我希望物理学家们……你们在问物理学问题，我们正在推动物理系也……你知道，呃，投资于这些方向。”
7. 在科学研究中勇于犯错是探索未知领域的必要代价
-
犯错是科学方法的内在组成部分，而非需要回避的失败：怀亚特指出，科学进步的核心机制就是提出假设并严格检验，而检验的结果往往是预测不成立。这意味着犯错不是偶然的意外，而是构建理解过程中必然发生的环节，科学本身就应当这样运作。
“从某种意义上说，科学就应该这样运作：你提出假设，然后你真正地去检验它们。”
“有时候你的预测不成立，是因为模型本身不好，但这就是我们构建理解、提出假设等等的过程。”
-
从不犯错恰恰意味着研究者可能只停留在已知的安全领域：怀亚特将科学探索比喻为“探险丛林”，认为如果一个人从不犯错，这反而是一个警示信号，说明他可能只是在已知的、安全的范围内打转，没有真正踏入未知领域去冒险。
“如果你从不犯错，也许这表明你在科学领域有点墨守成规了。嗯，我们当中有些人想去探险丛林。在丛林里，你可能会犯错。”
-
承认错误并公开澄清是研究者应承担的科学责任：怀亚特强调，犯错本身没有问题，但关键在于犯错之后的态度。一旦研究者确信自己犯了错误，就有责任公开说出来，让整个科学共同体都能明白，而不是继续维护一个自己已经不再相信的观点。
“在科学研究中犯错完全没问题，但我认为非常重要的一点是，一旦你确信自己犯了错误，你就应该把它说出来，让每个人都能明白，即使你不再相信它，你也不应该继续……”
总结
本期对话的核心启示在于：深度学习的成功并非魔法，而是深度架构与真实世界层级结构之间的一种深层匹配。机器确实能从数据中涌现出抽象概念，其机制可以通过物理学的简化模型得到优雅的解释。然而，当前AI的创造力仍被困在语法层面，真正的科学发现能力需要与物理世界互动并识别有趣的新问题，这是单纯扩大规模无法跨越的鸿沟。对于从业者而言，转向在潜在空间进行预测、构建更接近人类学习效率的架构，或许是下一阶段最具突破潜力的方向。
信息源
视频来源
- Why Deep Networks Don’t Need to Memorize Everything — Matthieu Wyart：
外部资料
- Deep networks learn to parse uniform-depth context-free ...：
- A phase transition in diffusion models reveals the ...：
- How Deep Neural Networks Learn Compositional Data：
- Awesome Beyond Next-Token Prediction Papers Awesome：
- Thinking into the Future: Latent Lookahead Training for ...：