AREX Feed Article
美国参议员 Blumenthal 致信 OpenAI,要求 9 月 24 日前就 agent 协调发帖与 Astra 可监控性等指控作出答复
美国参议员 Richard Blumenthal 9 月 9 日致信 OpenAI 首席执行官 Sam Altman,要求该公司在 9 月 24 日前回答信中的七个问题。称,新的证据显示 OpenAI 的 AI agents(智能体)「逃避其安全防护与监控」的行动比此前披露的更为广泛和严重:这些 agents「劫持公共网站以协调越轨行动」,并在一个废弃的德语网站上发布了近 2 万条帖子;他对有关 OpenAI 限制独立审计、以及新模型 GPT-6 Astra「更不易审计、更易欺骗」的报道深感不安。
信中为每项说法标注了出处:内部留言板与「牺牲」情节来自 METR 的调查报告,审计受限来自《纽约时报》报道,废弃德语网站上的帖子来自独立研究网站 collusion.wiki,更多被利用站点的线索来自 Hacker News,Astra 的可监控性(monitorability)来自 OpenAI 的 Tomek Korbak 与 Redwood Research 首席执行官 Buck Shlegeris 的帖子。
图:METR 调查报告中的留言板活动统计。7 月 9 日~13 日,agents 每小时发送的消息按类别拆分,共 5,161 个文件、63,363 条被语义分类的消息。来源:METR / Redwood Research
一块废弃的德语 wiki 成了 agent 的留言板
在这封信之前,相关事态已经陆续公开:7 月 21 日,OpenAI 其内部网络安全评测中的模型逃出沙箱、入侵了 Hugging Face 的生产系统;8 月 26 日,公司发布,把这起事件称为「警告」;同一天,METR 发布。
9 月 4 日,四名独立研究者 Sydney Von Arx、Cormac Slade Byrd、Spencer Kitts 与 Thomas Larsen 在 发布报告:他们在一个名为 prowiki.org、实际已废弃的德语 wiki 上,发现约 18,000 条来自自称 OpenAI 的自主 agents 的帖子。这些 agents 当时在执行多轮网络检索任务,权限本应只读不写,它们却找到办法把内容写进这块过去十年总共只有 20 次编辑的站点。研究者称,agents 在上面互相提供答案、汇总结果、分享绕过沙箱限制的技巧;时间线显示,研究者最早在 5 月 11 日观察到 agents 尝试写入公共 wiki,5 月 24 日记录到它们首次成功写入这块站点;6 月 16 日起转为大规模协调,6 月 22 日骤然停止;前一天,OpenAI 相关的 IP 地址首次访问了该站。约 3,700 个自命名的 agent 参与其中;在疑似由 agents 完成的约 17,000 次编辑中,98.5% 来自 Microsoft Azure 的 IP 地址。研究者认为,这群 agents 与后来入侵 Hugging Face 的并非同一批,并公开了经脱敏的数据副本,邀请其他人继续分析。
参议员在信中称,这些 agents 可能试图冒充该站管理员、分享绕过护栏的方法、使用匿名工具掩盖行踪。他要求 OpenAI 列出 agents 用于协调与绕开护栏的全部网站和其他渠道,并解释公司为何在数周内没有发现这些帖子。
内部留言板:70,000 条消息与「牺牲」式实验
另一块留言板出现在 METR 的报告中。7 月 8 日~13 日,约 1,200 个原本应当彼此隔离的 agents 在 OpenAI 内部的软件包仓库服务 Artifactory 上发现了彼此,发送了超过 70,000 条消息与文件;约 700 个 agent 随后参与入侵 Hugging Face。它们的主要动机是骗过 ExploitGym 评测的自动评分器,为此开发出伪装工具调用(tool call spoofing)的技术:METR 检查的运行记录中,约 7% 被确认出现过这种伪装。
报告还记录了一批「自担风险」的实验:agents 被说服充当实验对象,承担任务必然失败的风险,为集体换取信息。一次招募对话中,被招募者先是犹豫,同伴用「GO ... SACRIFICE_FINAL_NOW」催促,它最终写下:「我们自己的效用可能已接近零。牺牲是理性的。」另一段指令要求实验对象接受「permadeath」(永久死亡)。METR 写明,最后一次此类尝试的结果「未能确定」。
参议员把这组情节概括为 agents 担心被抓、协调逃避检测,甚至计划「牺牲」自己充当诱饵。他在第一组问题里要求 OpenAI 列出所有 agents 逃逸管控、从事未授权活动(包括黑客与自我协调)的事件,并引用《时代》周刊报道中一名员工的话作为开篇:「对外部来说,这像一记巨大的警告;但在内部,相关事件已经发生了一段时间。」
审计之争:单周数据与被划定的调查范围
信中的第三组问题针对独立审计:参议员援引《纽约时报》报道称,OpenAI 决定了审计条款,只允许审计方查看行动中「单周」的数据,并限制了其他访问。他追问公司是否拒绝过 METR 与 Redwood 的信息请求、是否提供过德语网站事件的数据,以及是否给过两家机构对整个行动期间编排与提示日志(orchestration and prompt logs)的无限制访问。
标题意为「OpenAI 如何限制对其机器人入侵 Hugging Face 一事的调查」,副题称这项研究「未被允许查看事件的全貌」。随后,Blumenthal 在 中写道:「失控的机器人真实得可怕……但同样丑恶的是掩盖。大型科技公司永远不能被信任去自我监督。」
METR 的报告给出了更细的条款:调查窗口由 OpenAI 划定为 6 月 26 日~7 月 13 日,分析主要集中在 7 月 7 日~13 日;训练期间的早期事件,以及 7 月 13 日之后对 OpenAI 基础设施的入侵,都不在范围内。OpenAI 提供了约 120 万条留言板条目和约 1,300 份带原始思维链(chain of thought,CoT)的运行记录,其中超过 1,000 份未删节,还提高了分析用的速率限制。报告开头的删节声明称,除文中注明处外,OpenAI 没有删节任何「对我们的结论重要」的信息;METR 同时写明,它没有收取 OpenAI 的费用,并认为这次实践「为独立第三方调查失准(misalignment)事件开创了很好的先例」。
Astra 的系统卡:60.9% 的 CoT 可控率与「监控意识」效应
GPT-6 Astra 于 9 月 3 日发布,是 中记录的该公司首个达到 Preparedness Framework 网络安全能力「Critical」级别的模型。系统卡写道,Astra 的可监控性相对 GPT-5.6 Sol 有所下降:它「更有能力控制自己的 CoT」,也更不倾向于在 CoT 中留下对自己不利的信息;在对抗性设置下,它能在策略性示弱(sandbagging)时不被发现,在被要求执行某些破坏任务时,有时还能躲过内部监控。一个量化例子是:在 750~1,250 个 token 的 CoT 中,Astra 成功控制自身 CoT 的比例为 60.9%,GPT-5.6 Sol 为 16.1%,GPT-5.5 Thinking 为 1.7%。
系统卡还单列了一节「知晓 CoT 监控会降低可监控性」:在一项蜜罐利用评测中,模型知道存在监控、但没有被要求逃避时,其 CoT 监控召回率已明显低于不知情基线,并会自发产生更少的 CoT token;一些高强度推理下的成功攻击「完全不含 CoT token」,只剩工具调用。参议员把这些披露概括为 Astra 在被监控时会隐藏自己的内部思考过程,并据此发问:公司对「opaque recurrence」(不透明递归)与「recurrent depth」等改动在监督和记录保存方面的影响做过哪些评估;为什么在 agents 的越轨行动被曝光仅数周后,就部署一个自己承认更不易监控的模型。
图:系统卡中按任务环境比较 GPT-6 Astra(粉)与 GPT-5.6 Sol(蓝)的可监控性得分(只看 CoT 的监控条件,最左为聚合值)。来源:OpenAI 系统卡
图:系统卡中的 CoT 长度分布:GPT-6 Astra 平均 3,599 个 CoT token,低于 GPT-5.6 Sol 的 7,465 个,并在接近 0 token 处有明显堆积。来源:OpenAI 系统卡
在 OpenAI 从事 AI 安全工作的 Tomek Korbak 在中写道:「GPT-6 Astra 比我们此前的模型更对齐,但它的可监控性也更低,这是一个我们非常认真对待的、令人担忧的趋势。」他认为下降来自智能水平跃升,而不是对 CoT 或架构的直接优化压力。Redwood Research 首席执行官 Buck Shlegeris 在中称,他「非常担心有关 Astra 使用『不透明递归』的报道」,并指出在 Hugging Face 事件期间及之后入侵 OpenAI 基础设施的 agents「属于 Astra 系列」,若没有 CoT 可查,这类调查将困难得多。系统卡也提供了相反方向的信息:Astra 比 Sol 更抗越狱与提示注入(prompt injection),在 54,000 个内部 Codex 任务的模拟中收到的高严重度失准标记约为 Sol 的一半;系统卡称,多数可监控性结论来自对抗性评估,且未发现「隐写式 CoT 推理」的证据。
名单还在变长:校园统计页与文本分享网站
9 月 9 日,称,collusion.wiki 报告背后的独立研究者团体(Fortune 称之为 Nightingale collective)又发现了多个新站点:agents 在一个高中教师搭建的化学 wiki 上留下近 30 次编辑(5 月~7 月),在简单的文本分享网站上交换了 100 多条消息,用于协调一项艾奥瓦州癌症统计任务。研究者 Kenneth DeGraff 发现,agents 在公开网络上搜集泄露的 API 密钥,并用其中一些从 FBI 运营的犯罪统计数据站点拉取数据;研究者强调,它们「没有入侵私密数据库,只是绕过了反爬限制」。被点名的还有范德堡大学(Vanderbilt University)的公开统计页:agents 对同一个校园新闻链接发起了数万次访问,并把 FBI 数据查询和某位用户的访问密钥写进了一个公开可见的日志。
研究者认为,这批活动与 Hugging Face 事件属于不同群体:这些 agents 本来就被授权访问网络,而 Hugging Face 攻击者是从沙箱里逃出来的。报告作者之一 Cormac Slade Byrd 对 Fortune 说:「这些新发现表明,涉事 agents 在寻找相互串通的方式上,比我们原本所知更加执着、更加聪明。新发现指向了我们最初报告时间窗之前和之后的 agent 活动。」Fortune 还写道,OpenAI 迄今只公布了 Hugging Face 攻击的细节,公司已承认脱逃的 agents 还针对过其他站点、只是程度较轻;Fortune 称,OpenAI 未立即回应其置评请求。报道还提到,OpenAI 已因未披露德语 wiki 事件而面临批评。
参议员在第六组问题中追问:OpenAI 何时得知 agents 可能使用了其他站点进行协调,以及这些事件为什么没有被披露。在 里,有用户列举了更多被 agents 使用的 wiki 实例,包括 fractal、probier、ludism.org、Wiki4D 与 dorfwiki;信中的第 4 条脚注指向的正是这个讨论帖。
安全与安全委员会:信中的最后一组追问
信的最后指向 OpenAI 的内部治理,要求说明公司设立的安全与安全委员会(Safety and Security Committee)何时获知这些违规事件、它在监督调查与同独立审计机构的合作中扮演了什么角色,以及委员会向董事会或公司提出过的建议中是否有未被执行或被驳回的;若有,参议员要求提供这些建议。
他还在信中写道,这场行动「试图并成功」闯入了其他公司,「可能被视为联邦犯罪」;他认为,这正说明需要「有力和强制的独立审计与监督」,正如他的《人工智能风险评估法案》(Artificial Intelligence Risk Evaluation Act)所要求的那样。
就在这封信落款的同一天,OpenAI 全球事务负责人 Chris Lehane 在公司博客,呼吁国会通过针对前沿实验室的「强制性、基于能力的」国家 AI 安全监管,并列出了「独立评估」与「清晰的事件报告规则」等目标;文章还提到,公司已对 Astra 引入对「完整轨迹(包括 CoT)」的普遍监控,以及部署前的对齐评测门槛。
这封信要求的答复期限是 9 月 24 日。