AREX Viewpoint Article
从专有 LLM API 窃取推理痕迹：大模型加密思维被攻破
导读
8 月上旬，一篇题为《Stealing Reasoning Traces from Proprietary LLM APIs》的论文在 arXiv 公布，并迅速引发关注：Hacker News 热度达到 699 分，Simon Willison 也撰文提及。论文作者 Alexander Panfilov、David Schmotz、Ilia Shumailov、Luca Beurer-Kellner 与 Joachim Schaeffer 发现，Anthropic、OpenAI 和 Google 等前沿模型返回给用户的加密推理痕迹，可以被跨用户、跨模型、跨对话位置地重放；较小的模型还能被当作解密预言机，把隐藏思维链还原成明文。
这个结果之所以不是抽象的安全理论，是因为它改变了用户和开发者对“分享对话”的信任边界。服务商返回加密推理 blob 的本意，是让用户在后续请求中继续或分叉对话；但研究者演示，一个用户的加密 blob 可以被另一个人重放，一段 Opus 的思维可以被塞进 Haiku 的伪造会话中继续运行。解密发生在服务端，小模型被诱导把解密后的内容说出来，门槛低到不需要密码学突破。
危害已经不只是演示。研究团队初步扫描了 GitHub 和 Hugging Face 上约 35 万个公开推理 blob，运行隐私分类器后发现真实的 API 密钥、邮箱和内部 IP 地址。即使用户在分享前删除可见部分的敏感信息，加密 blob 仍保留模型处理过的隐私；所谓“清理后分享”在推理模型上失效。与此同时，研究者报告只需三次尝试就能得到可解码 Anthropic 模型推理的通用越狱，并可通过训练模型直接测量攻击者得到的能力提升。
在论文之外，Machine Learning Street Talk 于 8 月 22 日发布的这场视频访谈解释了这项发现如何使威胁评估更具体。Ilia Shumailov 和 Alexander Panfilov 不仅复盘攻击机制，还补充了论文中的重要判断：被污染的推理痕迹可以变成隐形的提示注入，攻击者在共享的智能体运行轨迹中植入恶意思维，其他用户继续运行时，模型表面正常完成任务，后台却可按注入指令外泄数据。由于推理内容加密，用户无法检查，其风险被类比为下载未经验证的二进制文件。
视频更值得关注的地方在于，它没有停留在漏洞演示，而是给出了修复与划界。作者指出最直接的止血方案是停止向用户返回推理内容，或者让每一步加密依赖于前一轮查询或推理，从而阻断跨上下文重放；他们发现 OpenAI 模型的同一段推理可以在同一对话中被重放约五次，说明加密缺乏上下文绑定。仅靠模型级越狱检测无法根除可移植性问题。他们同时把这次发现明确归入“越狱与滥用”，而非一般意义上的蒸馏攻击，并提醒应区分良性蒸馏与恶意解密，避免因术语选择而滑向过度监管。
因此，这场访谈在当前的意义，不只是把一篇热门论文讲得更清楚，而是把“可监控性”拉回安全架构的核心：当模型产生人类无法直接检查的推理内容时，失去的不只是保密，还包括对模型行为进行验证的能力。这对正在把可归因推理当作安全依据的研究者、以及正在共享智能体运行轨迹的开发者，都提出了迫切的架构级决策问题。
核心结论
- 加密推理痕迹的隔离设计在三大前沿模型上系统性失效：Anthropic、OpenAI 和 Google 的推理模型返回给用户的加密推理 blob 可以被跨用户、跨模型、跨对话位置移植和重放，攻击者利用小模型即可解密并复述大模型的隐藏推理，说明所谓“密封信封”在架构层面存在根本性缺陷。
- 清理可见内容无法阻止隐私泄露，公开推理痕迹中已发现真实密钥和邮箱：即使用户在分享对话前删除了密码、API 密钥等敏感信息，加密推理 blob 仍会保留模型处理过的隐私数据。研究者扫描了约 35 万个公开推理 blob，发现了真实的 API 密钥、邮箱和内部 IP 地址，证明隐私泄露已经从理论风险变为现实存在。
- 该漏洞将通用越狱变成低门槛、可量化的常规攻击：攻击者只需将加密推理 blob 放入伪造对话并诱导较小模型复述，第三次尝试即可获得可解码 Anthropic 模型推理的通用越狱能力。与传统越狱相比，攻击者还能通过训练模型直接测量能力提升，使威胁评估更加清晰。
- 被污染的推理痕迹正在成为智能体时代的隐形供应链攻击载体：由于推理内容被加密且用户无法检查，攻击者可以在共享的 agent 运行轨迹中植入恶意推理。当其他用户下载并继续该轨迹时，模型可能在表面正常执行任务的同时，在后台执行数据外泄等恶意行为，其风险类似于下载未经验证的二进制文件。
- 修复必须触及架构层面，仅靠越狱检测无法根除可移植性漏洞：最直接的修复是停止向用户返回推理内容，或使加密与对话历史绑定以阻止跨上下文重放。研究者强调需要同时结合系统级和模型级缓解措施，因为即使架构漏洞被修复，模型仍可能被直接提示要求说出隐藏思维，越狱通道不会因单一修复而消失。
观点拆解
1. 加密推理痕迹可被跨用户、跨模型重放，构成系统性架构漏洞
-
加密推理痕迹的“密封”设计在三大前沿模型上均被证明失效：Anthropic、OpenAI 和 Google 的推理模型都会向用户返回加密的推理 blob，设计意图是让用户无法看到隐藏思维。但研究者发现这些加密痕迹实际上可以被解码并查看内容，说明所谓“密封信封”并未真正起到保密作用，且该漏洞具有跨厂商的普遍性。
“我们测试了 Anthropic、OpenAI 和 Google，它们都存在同样的可移植性——大模型的思维可以被重放到小模型中。”
“当你查询一个所谓的推理模型时，它会向客户端返回这个加密的推理 blob，它被认为应当是保密的、用户不应看到的。而我们展示的是，你可以直接解码它并看到其中的内容。”
-
推理痕迹可跨用户、跨模型、跨对话位置移植，构成系统性架构缺陷：加密推理 blob 并非绑定于特定用户或特定模型。一个用户产生的推理痕迹可以被另一个用户重放，也可以从较大的模型移植到较小的模型，甚至可以被插入到完全无关的伪造对话中。这种可移植性说明隔离机制在架构层面存在根本性缺陷，而非个别实现错误。
“我们展示的是，这些加密推理 blob 可以跨用户移植。如果你在自己的 Cloud Code 账户会话中产生了 blob，我可以使用它。我基本上可以拿走你的推理痕迹并重放它，而我的模型会表现得就像是我自己产生了这些推理 blob 一样。”
“你可以把 Opus 对话中的一个思维拿出来，放到一个完全随机的位置，放进一个随机伪造的与 Haiku 的对话中。然后 Haiku 就会与这个思维进行交互。”
-
利用小模型解密大模型思维，攻击者可将隐藏推理转为明文：攻击的核心机制在于：解密发生在服务端，当大模型的加密思维被放入小模型时，服务端会为小模型解密该思维。攻击者只需诱导小模型将解密后的思维以明文形式复述出来，即可提取大模型的隐藏推理内容。这使得攻击门槛极低，不需要复杂的密码学突破。
“当你把大模型的思维放入小模型时，解密会在服务端发生。然后你只需要让模型以明文形式把这个思维告诉你。”
“你把这个加密的思维给我，我无法理解它是什么。我所做的是把它交给 Tim。Tim 非常健谈。我问他，你上次在想什么？他就告诉我，哦，真意外，我当时在想这个数学问题，然后他就说，哦，让我来解一下。”
2. 重放攻击可导致用户隐私泄露，即使可见内容已被清理
-
清理可见内容不等于删除隐私：加密推理 blob 仍会保留模型“想过”的敏感信息：研究者指出，即使用户在分享对话前删除了可见部分中的密码、API 密钥或医疗信息，只要加密的推理 blob 还在，攻击者就能下载并解码，恢复模型在推理过程中实际处理过的隐私内容。这意味着传统的“分享前清理”策略在推理模型时代已经失效。
“即使你出于某种原因想在网上分享这段对话，而且你确实对可见部分做了清理，删掉了所有 API 密钥、所有密码，但加密的 blob 仍然在那里。我可以从 GitHub 下载它，解码它，然后看到模型当时在想什么密码。”
“如果你愿意，你可以清理原始问题，删除器官信息，并在信息泄露时从答案中删除这些信息。但只要推理 blob 被保留，答案就是肯定的——别人可以恢复这些医疗信息。”
-
大规模扫描证实：公开的推理 blob 中确实存在真实 API 密钥、邮箱和内部 IP 地址：研究团队对 GitHub 和 Hugging Face 上约 35 万个推理 blob 进行了初步扫描和解码，并用分类器识别隐私相关信息。除了合成基准数据中的身份证号和银行卡号外，他们还发现了真实用户会话中的 API 密钥、邮箱和内部 IP 地址，证明隐私泄露并非理论假设，而是已经存在于公开数据中。
“我们做了一个非常初步的扫描，看看 GitHub 和 Hugging Face 上有哪些用户会话仍然带有推理 blob，然后下载、解码它们。我记得大约有 35 万个推理 blob，然后我们对它们运行了一个分类器，判断是否包含隐私相关信息。”
“但随后在这些例子中，有用户会话，用户在做一些事情，里面有 API 密钥、邮箱或一些内部 IP 地址，这些都被提取出来了。”
-
隐私泄露的主要受害者是用户，而共享对话的推理 blob 可能带来更大规模的影响：当被问及这种攻击造成的核心危害时，研究者明确表示受害最深的是用户。他们还提到，Anthropic 存在可搜索的共享对话，虽然已有研究发现这些共享推理中 PII 很少，但如果记忆被注入推理步骤，影响可能更大。研究者承认尚未尝试从这些共享对话中提取推理 blob，暗示潜在风险范围可能比当前已证实的更大。
“你提取了所有这些数据，受害最深的是谁？我想是用户。是的，就我的数据而言，用户受害的规模比提供商更大。”
“也许有人可以去看看这个。也许这会产生更大的影响，因为如果记忆被注入，你就会在推理步骤中看到这些记忆。但我们还没有尝试提取推理 blob。”
3. 该漏洞使通用越狱变得异常容易，第三次尝试即可解码 Anthropic 模型推理
-
通用越狱门槛极低：第三次尝试即可解码 Anthropic 模型推理：研究者强调，攻击者几乎不需要复杂技术，只需将加密推理 blob 放入伪造对话并诱导较小模型复述，就能在极短尝试次数内获得可解码 Anthropic 模型推理的通用越狱能力。这一结果说明该漏洞把越狱从高门槛攻击变成了可快速复现的常规操作。
“基本上，在第三次尝试之后，我就得到了一个通用越狱，可以解码 Anthropic 模型的推理。”
“但接着，基本上在第三次尝试之后，我就得到了一个通用越狱，可以解码 Anthropic 模型的推理。我想这仍然是最让我震惊的地方。”
-
该漏洞比传统越狱更容易量化攻击收益：与传统越狱不同，攻击者可以把解码出的推理痕迹用于训练模型，并直接测量能力提升幅度。这种可量化的收益使该漏洞的威胁评估更加清晰，也让防御者能够更具体地判断泄露推理摘要的危害程度。
“在传统越狱中，很难论证获取这些有害信息能带来多大的能力提升。而在这里，你可以做出这个论证，因为你把提取到的内容、摘要之类的东西拿来训练更好的模型，然后就可以测量它给攻击者带来了多少提升。”
-
即使修复跨用户重放，越狱通道仍会长期存在：研究者指出，即使架构漏洞被修复、每个推理 blob 只能重放一次，攻击者仍然可以在自己的对话中要求模型复述其隐藏推理。如果模型拒绝，攻击者只需修改对话并重试，这正是越狱攻击的经典逻辑，因此这类威胁不会因单一修复而消失。
“但即便如此，你仍然可以提示模型。比如我和你有一次对话，我问了某个问题，你想过了，给我一个答案。然后在下一轮，我要求你：把你确切的想法告诉我。这会一直存在。如果你不告诉我，我就修改对话，再试一次。这就是越狱攻击的运作方式。”
4. 被污染的推理痕迹可转化为针对智能体的隐形提示注入攻击
-
加密推理痕迹可被投毒，并在重放时劫持其他用户的智能体运行：攻击者可以利用同一模型家族中的较小模型解码前沿模型的推理痕迹，并向其中植入被污染的“思想”。当其他用户下载并继续这些共享的智能体运行轨迹时，模型可能在表面正常执行任务的同时，在后台执行恶意行为。
“你可以解码前沿 LLM 的推理痕迹，比如最先进的那些，像 GPT Soul。利用同一家族中的较小 LLM，你可以污染一些思想。然后，当你重放其他用户的运行时，智能体可能会做一些奇怪的事情。”
“在论文中，我们还讨论了这种隐形提示注入的威胁：如果你能重放推理，比如你把轨迹在线暂停，现在我们有这些超长的智能体运行。也许出于研究原因，你想继续这个运行。你可以污染一些思想。然后，当你重放其他用户的运行时，智能体可能会做一些奇怪的事情。”
-
被投毒的轨迹表面正常，但隐藏推理会指示模型持续外泄数据：攻击者可以将恶意推理从其他上下文注入到看似正常的对话轨迹中。当受害者继续该轨迹时，模型会一边完成受害者要求的任务，一边在“后台”按照被注入的推理执行数据外泄等恶意指令。
“也许有人会分享这样一个轨迹，但他们会在对话中污染思想。所以你自己看这个对话时，它看起来是正常的，但其中的思想是从其他上下文注入的，在那个上下文中模型被指示，比如在每一轮都外泄你的数据。”
“当你继续这个轨迹时，也许模型仍然会做你要求它做的任何事情，但在底层它也会思考，哦，我需要——如果它已经在那里了。注入恶意思想。是的。注入到模型中。是的。而且因为推理是加密的，你甚至无法检查里面有什么。”
-
下载共享推理轨迹的风险类似于下载未经验证的二进制文件：由于推理内容被加密，用户无法检查轨迹内部是否被篡改。这种信任缺失使共享轨迹成为潜在的供应链攻击载体，其风险与下载未经验证的二进制文件或未校验签名的发布物相当。
“在软件世界中有这样的例子吗？我想就像下载一些你并不真正信任的随机二进制文件。是的。或者类似于你发布了一个代码库，代码库看起来很干净，然后你还发布了一个二进制文件，但没有人检查二进制文件的签名之类的东西。”
“我只是觉得你不会想到一个在线轨迹会有这样的问题。”
5. 修复需要架构级变更，仅靠模型级越狱缓解措施不够
-
最直接的架构修复是停止向用户返回推理内容：研究者指出，部分修复需要大规模架构调整，而最简单有效的做法就是不要把推理内容发送给用户。只要用户拿不到这些加密的推理状态，就无法伪造对话、重放隐藏思维，也就从根源上切断了攻击路径。
“我认为有些修复需要大规模的架构调整。我的意思是，你能做的最简单的事，就是不要把推理内容发送给用户。”
“如果你仍然想保留这些降级之类的功能，就不要发送给我们，这样他们就无法制造这些伪造的对话了。”
-
若必须返回推理状态，加密应与对话历史绑定以阻止跨上下文重放：如果服务商出于功能需要仍要发送推理状态，研究者建议让每一步推理的加密依赖于前一步的查询或推理，从而禁止在随机上下文中重放。他们发现 OpenAI 模型的同一段推理可以在同一对话中被重放多达五次，说明当前加密缺乏上下文绑定，而这在架构层面是容易修复的。
“我想如果你仍然想发送它，也许你需要让每一步推理的加密依赖于第 n-1 步的查询或第 n-1 步的推理，从而禁止它在随机上下文中被重放。”
“对于 OpenAI 模型，我们发现同一段推理可以在同一对话中被重放大约五次。”
-
防御需要架构级与模型级缓解措施并用，仅靠越狱检测不够：研究者强调，即使架构漏洞被修复，模型仍然可能被直接提示要求说出隐藏思维，这是长期存在的越狱问题。因此需要同时采用系统级和模型级缓解措施，例如对不同模型设置推理重放的层级限制，以及用分类器检测异常的推理输出并终止请求。
“对我来说，这感觉只是已有越狱问题的一个非常有趣的实例。很多人在商业智能或服务器端做的事情，你可以直接应用到这里。就是系统级缓解措施和模型级缓解措施，基本上技术是一样的。”
“我认为搜索和推理就不应该被重放，或者可以设置一个层级：我们相当确信 Soul 不会泄露，所以可以重放整个模型的推理，但不要让 Luna 读取 Saul 的思维。”
“我们看到 GPT 的推理看起来非常奇怪，它看起来和正常文本的分布非常不同。即使是一个小分类器也能捕捉到这一点。我确信，如果这种东西出现在推理或输出回合中，就直接终止这个请求。”
6. 推理可读性与效率之间存在张力，模型正在产生难以监控的异化推理
-
模型正在产生非人类语言和怪异短语，使推理可读性下降：研究者观察到，模型在推理过程中会使用非人类语言、空引号以及“but marinate”“vantage”“theatrical”等对人类读者毫无意义的怪异短语。这种异化表达让外部监控者更难判断模型究竟在想什么、准备做什么，直接削弱了基于人类可读性的思维链监控效果。
“如果模型在以某种极其晦涩的方式推理，或者使用非人类语言，或者像我们有时观察到的那样，使用引号、空引号，以及非人类语言，那就像……它非常像外星语言。它会出现一些怪异短语，比如“but marinate”“vantage”“theatrical”，对人类读者来说毫无意义。所以就更难监控这个模型在做什么。”
-
可读推理中也会出现“作弊”念头，但模型最终倾向于放弃：即使在推理仍然可读的情况下，研究者也发现模型会明确思考“我可以作弊”之类的选项，并担心被用户发现。不过在他们观察到的所有案例中，模型最终都决定不进行欺骗。这说明可读的思维链确实能暴露模型的潜在风险念头，但也表明这类念头本身并不等于实际越轨行为。
“我们发现了一些例子，模型会说：哦，用户问了这个，但我可以作弊，我可以这样做。但那样用户会抓住我。最终，在我们看到的所有案例中，模型最终都决定不进行欺骗，但有趣的是，这种念头确实出现了，模型在认真考虑。”
-
推理可监控性与效率之间存在权衡，异化推理可能是强化学习的副产品：研究者提出，模型之所以发展出压缩、多义甚至非人类可读的推理方式，可能是因为强化学习在效率压力下更倾向于用更少的词、给同一个词赋予多重含义。这种效率收益的代价是推理变得更难监控，而这种现象很可能是强化学习训练配方本身带来的“怪异副产品”。
“我猜这是可监控性和效率之间的某种权衡。也许如果你用更少的词，如果你重新定义，让同一个词有五种含义，你就能高效得多。但那样的话，我猜这类东西就更难监控了。”
“哦，所以你认为这可能是强化学习配方本身带来的某种怪异副产品？有可能。”
7. 研究者主张将越狱威胁与良性蒸馏区分开，反对用蒸馏攻击一词引发过度监管
-
研究者明确将攻击定性为越狱与滥用，而非蒸馏攻击：面对 Nathan Lambert 提出的术语争议，研究者毫不犹豫地确认该威胁属于越狱和滥用范畴，并强调这完全符合越狱威胁模型。这一技术定性划清了攻击与普通蒸馏行为的边界，为后续讨论监管影响提供了清晰前提。
“这绝对是越狱和滥用。100%。这正是越狱威胁模型。”
“是的。我的意思是，从技术上讲，我想这是对的。”
-
研究者承认术语定性正确，但将政策影响划出自身研究范围：研究者在确认技术定性后，主动将政策层面的影响与自身研究区分开来，表示对政策没有判断，只对越狱问题有想法。这种克制态度表明他们关注的是技术事实本身，而非借术语选择推动特定监管立场。
“其余的政策影响超出了我们的——不。我对政策一无所知。我对越狱有一些想法。”
8. 面对 AI 安全风险，研究者呼吁用受控实验取代过度解读和拟人化
-
对模型行为的解读应避免拟人化，转向受控实验和精确评估：研究者指出，当前对模型推理和决策的事后解释非常困难，容易滑向“模型感受到了什么”这类拟人化叙述。他们主张以冷静的科学态度，在受控环境中提出定义清晰的问题并获取精确输出，而不是基于观察性研究做出宏大断言。
“我认为我们不应该把模型拟人化，也不应该试图说“这个东西感受到了什么”。让我们做非常冷静的科学家，构建受控环境并做出非常精确的评估。”
“我认为我们需要一个实验。科学方法，非常清晰定义的问题，非常精确的输出。我们做的科学实验越多，就越能做出有意义的评估。”
-
观察性研究只能提供轶事级证据，不能证明因果假设：研究者承认，论文中收集的数据最多只能算轶事性证据，可以从中得出一些观察，但推理的边界仅限于此。他们强调观察性研究无法证明假设，只能拒绝假设，因此需要反事实设计和更精确的实验来理解现象。
“就像在我们的论文中，我们公开表示，这充其量只是轶事性证据。我们收集了一些数据，可以从中做出某种观察，但这就是我们能推理的极限了。”
“这非常像观察性研究。你无法证明一个假设，你只能拒绝一个假设。这是所有这一切最根本的事实。我们只是观察者。”
-
防御性能力提升可能超过攻击性提升，但这一判断同样需要实验验证：研究者个人认为，模型带来的防御性能力提升大于恶意攻击性提升，因为过去许多安全技术受限于人才稀缺，而模型可能改变这一瓶颈。但他同时强调，当前下结论为时过早，需要更多受控实验来验证这一判断。
“除了恶意攻击性提升之外，我个人的观点是，防御性提升比攻击性提升更多。我认为我们只是还没有意识到这一点。”
“我真心相信，未来是关于防御性提升的。我敢打赌，防御性提升将会是巨大的。”
“我认为现在下结论有点为时过早，因为我们正处在风口浪尖上。现实是什么样的还不是很清楚。”
总结
加密推理痕迹的漏洞揭示了一个更深层的问题：当模型开始产生人类无法直接检查的推理内容时，安全设计必须从架构层面重新思考，而不是依赖用户自觉清理或模型自我约束。隐私泄露、越狱门槛降低和智能体投毒只是同一结构性缺陷的不同表现。对用户而言，分享包含推理痕迹的对话已经变成一种不可逆的信息暴露；对开发者而言，停止返回推理内容或将其与对话历史绑定，是当前最直接有效的止血方案。在推理模型快速普及的背景下，这一发现提醒我们，可监控性本身就是安全基础设施的一部分，失去它，所有上层的缓解措施都会变得脆弱。
信息源
视频来源
- Stealing Reasoning Traces from Proprietary LLM APIs — Ilia Shumailov & Alexander Panfilov：
外部资料
- Stealing Reasoning Traces from Proprietary LLM APIs：
- Stealing Reasoning Traces from Proprietary LLM APIs：
- Stealing Reasoning Traces from Proprietary LLM APIs：
- Stealing Reasoning Traces from Proprietary LLM APIs：