AREX Feed Article
OpenAI 称瓦解一场提取其模型受保护推理的协调行动,将核心集群归因于与 Moonshot AI 有关联的个人
9 月 30 日,OpenAI 在一篇中称,它发现并瓦解了一场协调行动,该行动试图从它的模型中提取「受保护推理」(protected reasoning)。按 OpenAI 的定义,这是模型推演任务时留下的内部记录,通常不向用户展示;提取这些内容可能暴露最终回答中被隐去的信息,也能帮其他人复现模型的能力。OpenAI 说,这符合「对抗性蒸馏」(adversarial distillation)的特征:系统性地、未经授权地使用一个模型的输出或推理,来帮助训练、复制或改进另一个模型。
OpenAI 把这场行动的「核心集群」归因于与 Moonshot AI(Kimi 的开发商)有关联的个人,并称相关活动在 7 月下旬达到峰值后已被完全阻断。
没有攻破加密:让另一个模型转写受保护推理
OpenAI 说,操作者没有破解其加密、没有入侵数据库,也没有获得对已存储用户对话的直接访问。他们做的是操纵模型交互,以协调的、规模化的方式让受保护推理以请求方可见的形式被复制出来;OpenAI 称这违反了其服务条款。博文描述的一种新手法是:把一个对话中的加密推理复制出来,再到另一个对话里要求模型解密并转写隐藏的推理内容。
OpenAI 还称,独立安全研究者通过负责任披露,向它指出了与此相关的跨模型和对话压缩(conversation compaction)漏洞;OpenAI 调查后确认这些攻击路径真实存在,并说这些工作帮助它理解了更广的攻击类别、加快了缓解措施的落实。
研究者提交于 8 月 10 日的解释了其中一类原理:为了免去服务器端存储,厂商会把推理打包成加密块交还给客户端;论文称,这类加密块在同一厂商的会话、用户甚至模型之间完全兼容、可以互换。把一段加密推理注入同厂商防护更弱的模型,就能迫使它逐字解码、以明文转写出来;研究者称,他们已在 Anthropic、OpenAI 和 Google 的 API 上演示了这种提取。论文还称,相比只学习最终回答,推理轨迹包含解题的中间步骤,是更密集的训练信号。
7 月 1 日到 7 月 28 日:16,000 次请求的峰值与超过 15,000 名用户的集群
按 OpenAI 的记述,活动从 7 月 1 日开始,最初量级不高。7 月 24 日和 25 日出现高量峰值:16,000 次符合相关提取模式的请求,来自超过 4,000 名用户。进一步调查还发现,相关提示模式的活动分布在一个超过 15,000 名用户的集群中;OpenAI 说,到 7 月 28 日,这个集群被完全阻断。它还说,活动在过程中不断演变,说明对抗性蒸馏是一个更广泛的安全挑战,需要分层、能持续适应的防御。
在发表文章之前,OpenAI 称它调查了活动的范围与潜在影响,部署了自己的缓解措施,并与研究者和业界伙伴分享信息、收集反馈;更多缓解与调查工作仍在继续。它说,之所以现在公开这些发现,是为了帮助更广泛的生态加强防御。
归因的限定、对外共享与 9 月 8 日的联合公告
这条归因带有一个限定:OpenAI 表示,无法确定相关时间段内观察到的所有操作者是否来自同一主体。它称,已将相关信息通过 Frontier Model Forum 与业界伙伴分享,以加强集体防御;并通过适当的政府信息共享渠道分享发现,让其他前沿开发者与公共部门伙伴也能查找类似活动、强化自己的防御。
在 OpenAI 发文之前,美国国家安全局(NSA)、网络安全和基础设施安全局(CISA)与联邦调查局(FBI)已于 9 月 8 日联合发布,称包括 Moonshot AI 在内的中国 AI 公司对美国 AI 公司实施了「工业规模」的知识蒸馏,并建议美国 AI 公司加强检测与缓解、对疑似蒸馏请求调整响应、建立跨组织情报共享。
在 OpenAI 发文当天,彭博(Bloomberg)记者 Maggie Eastland 在 X 上 OpenAI 的 Caroline Zier 的话:「我们关心的是服务条款被违反,而不是开放模型或正当的蒸馏。」
处置动作:封号、注册管控与流式输出检查
OpenAI 称,它通过账号处置、技术控制与合作方协调来缓解这场行动:封禁或限制欺诈性账号,加强注册与基础设施控制,扩大对相关网络的监控。
在隐藏推理的保护上,OpenAI 表示已在用户、工作区、组织与模型家族各层级加强防护,其中包括关闭一条路径:此前,已经持有他人加密推理的人可以将其重放并还原出内容。它还在流式输出上增加检查,用于检测和截留可能暴露推理的内容。当相关活动经由第三方服务进行时,OpenAI 称它还与这些服务商合作,识别并阻断了涉及的账号。
能力转移、防护缺口与尚未完成的工作
OpenAI 给出的风险描述是:被提取的推理可用于训练另一个模型,而无需保留原始模型面向用户的输出所应用的防护措施;规模化蒸馏还可能加快先进能力的转移,而无需在安全上投入同等资源;随着模型在军民两用领域的能力增强,这类担忧会加剧。它还称,这种操纵并非其模型独有的漏洞,并提醒支持可移植或可重放推理内容的系统可能面临相关风险。
前述论文给出的一个例子与隐私有关:研究者从公开仓库中抓取并解码了 315,320 个推理块,还原出 367 项个人身份信息(PII)与 182 项凭据。
OpenAI 预计,随着前沿模型继续提升、各方寻找更便宜的模仿途径,对抗性蒸馏会变得更复杂;它说,防御这类活动需要分层控制与持续调整。公司表示将继续改进工具防御、分类器覆盖与模型拒答,并把相关控制扩展到云合作伙伴。这项工作还没有完成:OpenAI 说,合作伙伴托管的部署需要与一方服务同样的保护,工具输出类攻击需要检查普通可见文本之外的内容。