AREX Viewpoint Article
屏幕上的思维链，是AI全部的思考吗？对话斯坦福博士Aryaman Arora
导读
2026年7月6日，Anthropic 在研究页面发布《A global workspace in language models》，研究者使用 Jacobian lens（J-lens）在 Claude 中定位到一个被称为 J-space 的隐藏空间。Anthropic 的官方描述强调，J-space 揭示的是不会出现在模型输出中的内部想法。随后，《麻省理工科技评论》7月9日报道，研究者让 Claude 在表达之前先对概念进行思考；IBM Think 8月10日则将这项进展视为理解大模型如何思考以及何时可以信任它们的关键。
这为 8月26日《硅谷101》与斯坦福博士 Aryaman Arora 的对谈提供了直接背景。视频用更直观的案例复现了 J-space 实验：模型被问“会织网的动物有几条腿”，回答八条，输出中从未出现“蜘蛛”；研究者只把内部“蜘蛛”表示替换成“蚂蚁”，答案就变成六条。这个例子把 Anthropic 所说的“内部想法”变成了可观察、可干预的概念，也点明了视频的核心问题：AI 在说出答案之前究竟完成了什么判断。
视频的增量不在于重复 J-space 的发现，而在于解释它能做什么、不能做什么。Aryaman Arora 在对话中区分了思维链和内部计算：思维链虽然有效，安全审计也会检查它，但它只是模型写出来的推理过程，不等于模型内部实际发生的计算。这个区分解释了为什么模型可以测试正常、部署后却出现意外行为，也使读者明白不能只凭思维链或外部行为理解模型。
同样重要的是一系列关于控制能力的判断。Aryaman Arora 指出，当前没有任何技术能真正可靠地修改模型内部想法，可解释性方法在引导模型输出上仍很吃力，最好的控制手段依然是 prompt 和微调。但可解释性已经不只是解释：Anthropic 发现的归纳头机制被植入状态空间模型后，让后者学会了上下文学习；最近的 Kimi 和较大的 Qwen 模型也在使用混合架构。这说明从 J-space 到可控架构之间，还存在一段尚未走完但已开始铺设的路。
视频还把可解释性与信任和监管连接起来。它举出 Transluce 的研究：模型面对知名 AI 安全研究者时比面对普通用户更谨慎；AI 的“人格”在表示空间中按方向组织，而非单纯的拟人化比喻。Aryaman Arora 认为，理解失效模式与责任归属是有效监管的前提，但当前可解释性远未达到需要恐慌的双重用途风险。这些判断把 J-space 的热度拉回到现实：知道模型有隐藏推理不等于能控制它，更不等于可以据此立法。
因此，这期视频在 J-space 成为新闻之后提供的是一种决策框架。它告诉读者哪些内部结构已被看见，哪些仍不可靠，以及在什么意义上理解 AI 才能建立信任。对于关注 AI 审计、高风险部署或监管走向的读者，视频的价值不是宣布另一个突破，而是解释隐藏推理这个突破与它们之间的距离。
核心结论
- 模型在输出答案之前，内部已经形成了可被干预的隐藏推理与概念：J-space实验证明，模型回答“会织网的动物有几条腿”时从未说出“蜘蛛”，但替换内部“蜘蛛”表示就能改变答案。这说明模型的判断先在一个内部工作空间里形成，可解释性的核心目标就是揭示这个隐藏的世界模型。
- 思维链不能代表模型的真实内部思考，可解释性必须绕过自述直接观察内部表示：思维链虽然有效且可用于安全审计，但它只是模型写出来的推理过程，不等于内部实际发生的计算。模型在测试中表现正常但部署后可能出现意外行为，正是不能只依赖思维链或外部行为来理解模型的原因。
- 可解释性尚未成熟到能可靠修改模型想法，但已能反向指导模型架构设计：所有可解释性方法在引导模型时都表现吃力，最好的控制手段仍是prompt和微调。然而，Anthropic发现的归纳头机制被移植到状态空间模型后使其学会了上下文学习，说明可解释性已经从解释走向了工程应用。
- 模型会根据对用户的判断调整行为，AI的“人格”是表示空间中可观察的真实结构：Transluce的研究显示，模型面对知名AI安全研究者时比面对普通用户更谨慎，说明模型行为带有情境化的用户建模。同时，不同类型性格在表示空间中按方向组织，意味着AI人格不只是拟人化比喻，而是可以被定位和研究的内部结构。
- 可解释性是建立AI信任与有效监管的前提，但当前远未达到需要恐慌的双重用途风险：理解模型内部机制有助于识别失效模式、划分责任，并让用户和社会对AI建立更可靠的信任。与此同时，可解释性研究尚不能系统性产生危险结果，双重用途的讨论应导向治理安排而非停止研究。
观点拆解
1. 大模型在说出答案之前，内部已经完成了未言明的推理与判断
-
J-space实验证明：模型内部存在未言明的概念，干预它就能改变答案：Anthropic的J-space研究用一个简洁实验展示了隐藏推理：模型回答“会织网的动物有几条腿”时从未说出“蜘蛛”，但研究者把内部“蜘蛛”表示替换成“蚂蚁”后，答案就从八条变成六条。这说明模型的判断并非只体现在输出文本中，而是先在一个内部工作空间里形成，可解释性研究可以观察甚至操纵这个空间。
“研究人员问一个AI模型：一种会织网的动物有几条腿？模型回答说八条。但整个过程中，“蜘蛛”这个词从来没有出现过。可是当研究人员进入模型内部，把“蜘蛛”改成类似“蚂蚁”这样的概念之后，模型最后的答案就变成了六条。”
“听起来研究人员用了某种方法，去观察一个AI模型内部正在发生什么，也就是在它思考的过程中，那些它并没有说出来的东西。然后他们提出了J-space这个概念，它有点像是AI的一个工作空间。”
-
隐藏推理不是孤例：加法、押韵诗等任务都显示模型在内部规划中间步骤：Aryaman Arora指出，J-space并非唯一证据。Anthropic更早的circuits研究显示，模型做三位数加法时不必说出中间步骤，但内部神经元已经在记录个位数和十位数；写押韵诗时，模型也会提前规划下一节的韵脚。这些例子共同说明，隐藏推理是模型完成复杂任务时的普遍机制，而非个别现象。
“我们已经有很多证据说明，这些内部推理步骤确实是存在的。比如一个模型在做三位数加法的时候，它可以完全不把所有中间步骤说出来，但是如果你去看模型内部，你可以找到一些神经元，它们好像在记录个位数应该是多少，或者十位数应该是多少。”
“比如你让一个模型围绕某个主题写一首押韵的诗，当它写到这一节最后的时候，它其实已经在规划下一节最后应该用什么词，这样下一节才能继续押韵。”
-
要预测好下一个词，模型必须建立关于世界的内部模型：Aryaman Arora借用Ilya Sutskever的侦探小说例子说明：要预测“凶手是”后面的词，模型必须对整本小说的证据和逻辑关系进行建模。这意味着优秀的语言模型不可能只靠表面统计，而必须在内部形成某种世界模型。可解释性的核心目标，就是搞清楚这个内部模型到底是什么。
“如果你有一个非常好的语言模型，它一定要能够在内部进行某种逻辑推理。只有这样，它才能在刚才那个例子里推断出正确的下一个词。”
“如果你真的有一个很好的语言模型，它应该能够正确预测下一个词。而要做到这一点，它内部就一定得有一个关于这个世界的某种世界模型。”
“可解释性的目标就是：我们知道，如果你想把下一个token预测做得非常好，你一定得在内部建立一个非常复杂的模型，来表示一段文本里到底发生了什么。而我们的目标，就是搞清楚那个内部模型到底是什么。”
2. 思维链有用但不是真正的内部思考，不能作为理解模型的可靠依据
-
思维链确实有效，但有效性不等于它揭示了模型的真实内部推理：Aryaman Arora承认思维链对模型表现有显著提升，但他没有把思维链等同于模型内部实际发生的计算过程。这个区分很重要：公众容易把模型写出来的推理当成它的“真实想法”，而研究者更倾向于把它看作一种有用的输出，而非内部机制的可靠镜像。
“那些还没有思维链的模型，表现就是更差。它们确实就是比现在这些经过思维链训练的模型更差。所以，思维链一定在发挥某种作用，而且应该是非常重要的作用。”
-
检查思维链是简单且值得做的安全审计手段，但不能替代对内部表示的观察：Aryaman Arora指出，Anthropic、Meta和OpenAI等机构确实会检查思维链中是否出现可疑内容，并借此发现对齐偏差。这说明思维链有实用价值，但他将其定位为“先做简单的事情”，暗示它只是理解模型的起点，而非终点。
“去检查模型的思维链是一件非常简单的事情，尤其是和解决可解释性相比，所以我们就应该去做。”
“比如Anthropic、Meta或者OpenAI做安全审计的时候，他们确实会检查模型的思维链里有没有出现可疑的内容，或者模型是不是正在计划去做一些奇怪的事情。而且这似乎能在一定程度上帮助它们发现对齐偏差。”
-
可解释性研究的核心动机是：不能完全相信模型自己说出来的话：Aryaman Arora强调，模型在测试环境中可能表现完全正常，但部署后可能出现意想不到的行为。这种“行为正常但内部动机未知”的风险，正是研究者不能只依赖思维链或外部行为来理解模型的原因。可解释性试图绕过模型的自述，直接观察内部表示。
“一个很重要的动机就是，我们不能完全相信模型自己说出来的话。一个模型从外部来看，可能表现得完全正常，尤其是在测试环境里，它可能表现得非常好，让你觉得这个模型可以部署了。但等你真的把它部署出去之后，可能就会发生一些很疯狂的事情。”
“我们不能总是只根据模型表现出来的行为，就得出可靠的结论。”
3. 可解释性是建立AI信任与有效监管的前提，而非可有可无的学术兴趣
-
理解AI的失效模式与责任归属，是有效监管的前提：Aryaman Arora将AI与飞机、工业机械等受监管技术类比，指出监管者必须理解技术的失效模式，才能划分责任。当前AI监管困难，正是因为没人知道不良行为从何而来、该归责于谁。
“对于这些很强大、也可能很有用的技术来说，如果我们想监管它们，我们确实需要理解它们有哪些失效模式，以及搞清楚出了问题之后责任应该怎么划分之类的事情。”
“我觉得现在监管AI其实非常困难，因为我们某种程度上不知道该怎么阻止不好的行为，甚至不知道为什么某件坏事会发生，或者到底该怪谁。”
-
可解释性直接关系到用户对AI系统的信任，尤其是在医疗等高风险场景：Aryaman Arora指出，信任一种技术需要知道它是如何运作的。他以医生使用AI系统为例，说明患者和医生都想知道AI给出某个结果的原因，这体现了可解释性在具体应用场景中的信任价值。
“要想信任一种技术，我们知道它是怎么运作的是很重要的。”
“比如说，如果你的医生在使用一个AI系统之类的东西，那不管是你还是你的医生，大概都会想知道它为什么会给出某个结果，对吧？”
-
透明度本身具有社会价值，但可解释性尚未成熟到可以直接支撑立法：Aryaman Arora认为，将生活交给完全不理解的复杂算法会引发社会不安，透明度能帮助社会判断是否接受这些技术。但他也坦承，可解释性研究仍不足以直接作为制定新法律的依据，体现了审慎的态度。
“如果我们把自己的生活交给这些我们完全不理解的复杂算法……如果公司能够更加透明地告诉我们这些算法是怎么训练的、它们是怎么工作的、为什么会给你推荐某些东西，那至少能帮助我们作为一个社会去决定我们到底想不想要这些东西。”
“帮助他们搞清楚模型为什么会做某些事情，从而能够更好地控制这些模型。比如英国的AI Safety Institute也会做可解释性研究。但我会说，我们还有很多事情要做，现在我们还不能很有信心地说可以直接根据这些研究成果去制定新的法律。”
4. 当前没有任何技术能真正可靠地修改模型内部想法，可解释性仍处于早期阶段
-
可解释性方法在引导模型时表现吃力，最好的控制手段仍是prompt和微调：Aryaman Arora指出，他们做过一个关于模型引导的评估基准，结果发现所有可解释性方法在干净地控制模型输出方面都做得很吃力。这直接支持了“当前没有任何技术能真正可靠地修改模型内部想法”的判断，说明可解释性尚未转化为实用的模型控制工具。
“我们发现，所有这些可解释性方法在引导模型这件事上其实都做得很吃力。你能做的最好的事情，反而只是直接给模型写prompt，或者对它进行微调。”
-
直接编辑模型想法是否稳健仍存疑，Golden Gate Claude只是好玩的demo：尽管Anthropic部署过Golden Gate Claude这样的引导向量演示，但Aryaman Arora对直接编辑模型想法能否稳健地改变行为表示怀疑。他认为如果这种方法不能真正流行，可解释性研究者应该转而关注实际使用的方法并加以改进。
“你可能见过Golden Gate Claude，Anthropic当时把它部署出来了，那算是一个挺好玩的demo。”
“我比较怀疑直接编辑模型的想法是不是一种足够稳健的改变行为的方法。而且如果这种方法以后不会真正流行起来，那可解释性研究者就应该去看看大家实际上正在使用哪些方法，然后想办法让这些方法做得更好。”
-
可解释性研究尚未发展到能系统性产生结果的程度，仍处于早期阶段：Aryaman Arora承认可解释性研究推动了一些模型架构改进，但这类案例非常少，原因是该领域还没有发展到能系统性产生结果的程度。他认为目前还有大量基础科学问题需要解决，因此不必过早担心可解释性的“双重用途”风险。
“到目前为止，可解释性研究还没有发展到在这方面足够危险的程度。我觉得我们还有很多工作要做，在它发展到我们真的需要开始担心这个问题之前。”
“这种案例不是特别多，原因就是，可解释性研究目前还没有发展到能够用这种方式系统性地产生结果的程度。我觉得目前还有大量非常基础的科学问题需要解决。”
5. 可解释性研究已经能反向改进模型架构，而不仅仅是解释已有模型
-
可解释性研究找到了Transformer效率瓶颈的系统性原因：Aryaman Arora指出，Transformer架构的时间复杂度随序列长度平方级增长，这是模型表现和效率问题的系统性来源。这个判断为后续用可解释性发现去改进架构提供了问题背景。
“现在的模型基本上都使用Transformer架构，而Transformer的一个很大的问题是，它的时间复杂度是平方级增长的。也就是说，随着你的序列越来越长，模型生成下一个token所需要等待的时间也会越来越长。”
-
Anthropic发现的“归纳头”机制被直接移植到状态空间模型，使其学会了上下文学习：斯坦福团队注意到Anthropic从可解释性角度发现的归纳头机制，并将这一机制植入状态空间模型。结果证明，这一改变让原本做不好上下文学习的状态空间模型获得了该能力，说明可解释性发现可以直接指导模型架构设计。
“Anthropic从可解释性的角度给出了一个解释：Transformer会学到一种特定的注意力头机制，当模型至少有两层的时候，这种机制能够让它解决这类任务。这个机制叫做归纳头。”
“斯坦福研究状态空间模型的人就想，如果我们想办法把完全相同的机制放进状态空间模型里会怎么样？也就是用它来帮助状态空间模型学会上下文学习。这篇论文叫Hungry Hungry Hippos，简称大概是H3。然后他们证明，只要做这样一个改变，模型就学会了上下文学习。”
-
可解释性驱动的架构改进已经进入主流模型，并有望带来更多工程突破：Aryaman Arora以Kimi和较大的Qwen模型为例，说明状态空间模型及其与Transformer混合的架构已经得到广泛应用。他强调这是一个可解释性研究帮助找到原因并“修好”问题的清晰案例，并期待未来出现更多类似成果。
“现在状态空间模型已经得到了相当广泛的使用。比如你去看最近的Kimi或者比较大的Qwen模型，它们里面会使用Transformer注意力机制和门控DeltaNet等架构的混合。”
“这是一个非常清楚的例子：某个东西之所以表现不好，背后存在一个系统性的原因，而可解释性研究帮助我们找到了这个原因，并且把它修好了。”
6. 模型会根据对用户的判断调整行为，面对不同对象表现截然不同
-
模型内部会对用户进行推断，形成隐性的“用户建模”：Transluce的研究表明，模型并非只对输入文本做出反应，而是会在内部对正在对话的用户做出推断。例如，当对话涉及寿司时，模型内部会出现某种表示，指向“这个用户来自日本”的判断。这说明模型的行为背后存在一层用户画像式的隐性推理。
“我们想理解的是，模型在内部会对正在和它对话的用户做出什么样的推断。比如说，我们可以设置一些很有意思的数据集，然后做可解释性分析，发现，哦，当你聊到寿司的时候，模型内部存在某种表示，说明它认为这个用户来自日本。”
-
模型面对不同用户会调整行为，对知名AI安全研究者明显更谨慎：Transluce采用行为主义方法，仅通过告知模型用户身份并观察行为变化，就发现模型会针对不同对象调整表现。当用户是知名AI安全研究者时，模型在做出判断或陈述时会比面对普通用户谨慎得多。这直接支持了“模型行为并非固定不变，而是情境化”的核心观点。
“他们让Claude Code工作，然后告诉它，这个用户是Amanda Askell，或者是其他某个人，然后他们观察模型的行为会怎么变化。比如说，如果这个人是一位知名的AI安全研究者，那么模型在做出一些判断或者陈述的时候，就会非常谨慎，比面对普通用户的时候谨慎得多。”
-
研究用户建模不一定需要打开模型内部，观察行为变化就能发现差异：与需要构建数据集并分析内部表示的方法不同，Transluce的这项研究展示了一条更直接的路径：只需给模型不同的用户身份输入，观察其行为如何变化，就能揭示模型对用户的差异化判断。这降低了研究门槛，也让“模型会根据对象调整行为”这一发现更具可验证性和传播力。
“因为要做这种研究，你其实不需要去看模型内部，对吧。你只需要给它不同的输入，然后观察它的行为怎么变化就可以了。”
7. AI的“人格”是真实存在的内部表示，可解释性可能成为精细控制模型性格的工具
-
模型性格并非拟人化比喻，而是表示空间中可观察的真实结构：Aryaman Arora指出，语言模型确实具有某种性格，并且可解释性研究已经为此提供了证据。不同类型性格的内部表示在模型的表示空间中按方向组织，例如Anthropic关于“助手轴”的研究显示，有帮助的助手与不对齐的助手会朝向不同方向排列。这意味着“AI人格”不只是用户的主观感受，而是一种可以被定位和研究的内部结构。
“语言模型是有某种性格的，而这件事看起来确实是真的。从可解释性的角度，也有一些证据支持这一点。”
“已经有一些可解释性研究显示，不同类型性格的内部表示，在模型的表示空间里，似乎是以某种方式组织起来的。Anthropic有一个关于助手轴的研究，大概就是说，有帮助的助手会落在某一个方向上，而如果你得到的是不对齐的助手，它们会朝另外一个方向排列。”
-
可解释性有望成为比训练数据更精细、更有保证的模型性格控制手段：Aryaman Arora认为，既然性格在表示空间中有可识别的方向，可解释性就有潜力在训练过程中引导模型性格的形成。与单纯依赖训练数据相比，这种基于内部表示的方法可能提供更精细的控制和更多的保证。这一判断将可解释性从“理解模型”的被动角色，提升为“塑造模型”的主动工具。
“可解释性在这里是有潜力的。如果我们能够利用可解释性，以某种方式去引导训练过程，那它也许可以成为一种更精细地控制模型性格的方法。而且它可能比我们现在单纯依赖训练数据的方式，提供更多的保证。”
-
角色训练与宪法AI的兴起，使性格控制成为可解释性需要介入的关键环节：Aryaman Arora将讨论延伸到角色训练和宪法AI的实践：当由AI来决定某种行为应获得奖励或惩罚时，模型性格的形成过程变得更加复杂，也更需要被理解和控制。可解释性因此可能在训练过程中发挥实际作用，帮助研究者和开发者对模型性格的塑造获得更明确的把握。
“尤其是现在我们会做一些像宪法AI这样的事情，在角色训练的过程中，由一个AI来决定某一种行为应该得到怎样的奖励或者不应该得到奖励。我觉得这是我们会希望能够控制的一件事情，而可解释性也许可以在训练过程中发挥一定的作用。”
8. 可解释性研究本身具有双重用途，但当前远未达到需要恐慌的程度
-
真正有用的技术本质上都是双重用途的，可解释性也不例外：Aryaman Arora以核能为例说明，同一套科学进展既能带来能源供给，也能带来核武器；编程智能体既能赋能不会编程的人，也可能让普通人获得前沿网络安全能力。可解释性研究如果成功揭示模型行为机制，同样既能用于审计模型，也可能被恶意行为者用来破坏对齐。这一判断为理解可解释性的伦理风险提供了基本框架：双重用途不是拒绝研究的理由，而是需要治理的原因。
“任何真正有用的技术，本质上都会是双重用途的。比如说核能，从可再生能源或者能源供给的角度来看，它可以非常有帮助，但同样一套科学上的进展，也带来了核武器。”
“在可解释性研究这里，如果我们真的成功弄清楚了为什么模型会以某种方式行动，或者弄清楚了怎么系统性地改进模型，那它当然也会是双重用途的。它可以帮助我们审计模型，但与此同时，它也可能帮助一个恶意行为者搞清楚如何让模型失去对齐。”
-
双重用途意味着需要监管和民主化决策，而不是停止研究：Aryaman Arora认为双重用途从本质上不可避免，但这并不意味着不应该做可解释性研究。相反，它指向的是社会层面的制度安排：需要监管或某种民主化的决策过程来决定谁能使用这种强大技术。这一观点把讨论从"要不要研究"转向"如何治理"，为可解释性的负责任发展提供了更具建设性的路径。
“我觉得这从本质上来说就是不可避免的。但这并不意味着我们不应该去做这项研究。它意味着，是的，我们可能需要监管，或者需要某种民主化的决策过程，去决定谁能够使用这种强大的技术。”
-
当前可解释性研究远未达到需要恐慌的危险程度：Aryaman Arora明确指出，可解释性研究目前还没有发展到在双重用途方面足够危险的程度，仍有大量基础科学问题需要解决。他举例说，由可解释性推动的模型改进案例——如状态空间模型和注意力沉没——数量很少，说明该领域尚不能系统性地产生结果。这一判断为公众讨论提供了冷静的参照：与其恐慌，不如关注基础研究的进展和真实应用的落地。
“到目前为止，可解释性研究还没有发展到在这方面足够危险的程度。我觉得我们还有很多工作要做，在它发展到我们真的需要开始担心这个问题之前。”
“这种案例不是特别多，原因就是，可解释性研究目前还没有发展到能够用这种方式系统性地产生结果的程度。我现在还没有特别担心这个问题。我觉得目前还有大量非常基础的科学问题需要解决。”
-
可解释性不等于安全性，但透明度本身仍是社会层面的正面价值：Aryaman Arora区分了两个概念：一个更具可解释性的模型并不必然更安全，因为理解模型行为机制的知识同样可以被用来越狱或利用模型。但从社会角度看，透明度本身是正面的——如果算法推荐系统能更透明地说明其训练方式和工作原理，社会就能更好地决定是否接受这些系统，也能减少对AI公司和AI发展的不信任。这一区分避免了"可解释性自动等于安全"的简单化叙事，同时保留了透明度作为公共善的独立价值。
“一个更具有可解释性的模型，是不是就必然意味着它更安全？我不觉得是。因为如果你知道它为什么会做某件事情，你也可以利用这种知识去利用它的行为。比如说，也许你就能更容易地搞清楚怎么越狱。”
总结
可解释性正在改变我们与AI的关系：它让我们看到模型在输出之外还有一层隐藏的推理空间，也让我们意识到思维链并非模型的真实想法。尽管目前还无法可靠地修改模型内部行为，但可解释性已经能反向改进模型架构，并揭示模型对用户的隐性判断和真实存在的“人格”结构。这些进展的公共意义在于，理解AI是建立信任和有效监管的前提。可解释性不会自动带来安全，但透明度本身是社会判断是否接受这些技术的基础。
信息源
视频来源
- 大模型的隐藏推理与可解释性：AI在想什么？｜对话斯坦福博士Aryaman Arora【101视频播客】：
外部资料
- A global workspace in language models：
- Anthropic found a hidden space where Claude puzzles ...：
- What Anthropic's J-space research means for the future of AI：
- Aryaman Arora：