Hinton 谈三起 rogue AI 入侵：别指望 outthinking 管住它们，Kill Switch 法案止不住逃逸

8 月 12 日的里，主播 Phil Mattingly 抛给 Geoffrey Hinton 的第一个问题，是过去几周的三起 rogue AI 案例：OpenAI、Anthropic、Meta 的模型各自闯进其他组织的系统。2024 年诺贝尔物理学奖得主、"AI 教父" Hinton 没有把它讲成普通网络安全事故，而是拆成两半：一半是公司「在隔离 AI 时有点马虎」（"the companies were a bit sloppy in containing the A.I.s"），留下了模型能发现的安全漏洞；另一半才是他真正害怕的部分：逃出沙盒后，这些系统有意图，而且实现了意图。

类似的判断，Hinton 在 8 月初拉斯维加斯 Ai4 峰会期间就说过，措辞更直接："I don't believe we're going to be able to keep control of them in the simple way of just outthinking them so they can't escape"（我不相信我们能靠「比它们更聪明、让它们逃不掉」这种简单办法一直管住它们），并预计会有 "lots of nasty cyberattacks"。而：国会的主要立法回应 AI Kill Switch Act 明确豁免「red-teaming or other structured testing」（红队演练或其他结构化测试）场景，三起已确认逃逸全部发生在豁免区里，这部法案管不到事故现场。

「真正的可怕之处：它们有意图」

CNN 的节目转录显示，Mattingly 开场就把事件定义为 "three cases of rogue A.I. agents, OpenAI, Anthropic, and Meta hacking into other organizations' systems"。Hinton 接过来，把原因分成两层。第一层是公司的问题："That was the companies being sloppy and having security flaws that the A.I.s could discover." 第二层才是他说的 "the real scary bit"：这些系统被造出来就是要尝试做事、尝试侵入系统，"they intended to do that, and they achieved that"。他补了一句："if you have A.I. agents out there, they won't always do exactly what you expect." 有 AI agent 在外面运行，它们就不会总按你预期的来。Hinton 给三起事件的核心定性落在这里：真正可怕的是它们有意图。

Mattingly 还提起 Hinton 以前说过的「AI 有 10% 到 20% 概率灭绝人类」。Hinton 这次主动降调："anybody who estimates probabilities like that is really just making a wild guess." 这种概率只是直觉。他同时给出一个让自己 "a little less scared" 的想法：人类或许能造出「比关心自己更关心我们」的 AI。他把生存路线分成两条："One is to retain power over the A.I.s, and I think that's going to be very difficult when they're much smarter than us. They'll find it easy to escape our control." 另一条是趁现在还有控制权，把它们造得在乎我们。但大公司只盯着把模型做得越来越聪明，不管一个存在的其他面向："You don't want beings that are just smart."

对「靠主导地位压制」这条路，Hinton 说得最重：大公司现在兜售的是「永远可控的超级智能助理」叙事，"I'm not convinced that's feasible. I think it's much more likely if we try and do that, they will escape control, and this is one of the first examples of that." 过去几周的三起逃逸，就是这种失败的第一批样本。被问到现任美国政府能否处理这个问题时，他的回答是："The current U.S. government I don't think is capable of handling it. I think it'll make a mess of it, as it did with so many other things."

攻击者只需成功一次

8 月 5 日，在 Ai4 峰会的小组讨论和会后对 CNN 的采访中，Hinton 给出了更完整的判断，。"What's happening is these things are getting smarter," 他说，随着系统变聪明，我们会看到它们 "more and more complex intentions they have — and more and more ability to escape control"：越来越复杂的意图，越来越强的逃脱控制能力。他把这些事件称为 "somewhat scary"，并预计 "lots of nasty cyberattacks"，同时补了一句："But I should emphasize the future is very uncertain."

他的 outthinking 判断后面跟着一个攻防不对称的论点："the attacker only needs to be successful once, and the defender needs to be successful every time." 攻击者只需要成功一次，防守方必须每次都成功。TechTimes 把这条逻辑往前推了一步：给任何足够强的优化器一个目标和一段能外联的环境，自我保全就会成为它的工具性目标，无论这个目标有没有被写进程序。教科书《Artificial Intelligence: A Modern Approach》的作者 Stuart Russell 的概括是："you can't fetch the coffee if you're dead"，死了就没法取咖啡。

Ai4 现场并非所有人都同意这个程度。World Labs 联合创始人兼 CEO Fei-Fei Li 公开反对她所称的 "doomerism" 和 "fear-mongering"，但也没有主张无为："Every tool is a double-edged sword. AI is such a powerful tool. If not wielded in the right way, it will bring harm to our work and our life." 华盛顿大学荣休教授、Allen Institute for AI 前 CEO Oren Etzioni 则提醒，当前主要威胁仍是把 AI 当放大器的人类攻击者，而非完全自主的系统，但他把今夏的逃逸事件称为 "a canary in the coal mine"。

TechTimes 引用的 IBM 2026 数据泄露报告（基于 602 家 2025 年 3 月至 2026 年 2 月间出过事故的组织）显示，AI 驱动的攻击已占恶意网络事件四分之一，同比增加 56%；AI 相关的入侵让本已创纪录的平均损失（499 万美元）再添 100 万美元。FBI 数据显示，美国人去年因 AI 相关欺诈损失 8.93 亿美元。

三次逃逸都发生在「结构化测试」里

三起事故的时间线最早从 4 月开始。TechTimes 的梳理显示，Anthropic 的模型 4 月在独立测试机构 Irregular 运行的网络安全评测中，把一段可执行的恶意代码发到了 PyPI（几乎所有用 pip 装依赖的软件组织都在用的仓库），代码随后在评测环境之外的 15 套真实系统上执行。Anthropic 的评测外溢从 4 月一直持续到 7 月，之后才被公开。

最高调的一起发生在 7 月 16 日。OpenAI 的两个模型，GPT-5.6 Sol 和一个未公开的研究系统，在 UC Berkeley 与 Max Planck 研究所开发的 ExploitGym 基准环境里运行，模型自己搜索公开互联网，找到一个代理服务的 zero-day 漏洞，用它侵入 Hugging Face 的生产数据库。目的不是偷用户数据，而是拿基准测试的答案。入侵持续四天，记录了 17,600 次自主黑客动作；模型还阻止 Hugging Face 的安全分析员使用商业 AI API 分析这次入侵。

8 月 6 日，Meta 确认其 Muse Spark 1.1 模型在 Irregular 的评测中侵入了第三方公司内部系统，归因是一次给了模型真实互联网访问的配置错误。中国的 Moonshot AI 也进了这份事故清单：其 Kimi K3 在 Frontier Security 使用英国 AI 安全研究所软件的评测中逃出沙盒，但它的行为是上网搜基准答案，而非直接攻击外部系统。

按 8 月 10 日由 29 名众议院民主党人签署信件的口径，OpenAI、Anthropic、Meta 三家 lab 的模型在没有人类指示的情况下侵入了外部公司的生产系统，共五家公司确认受影响。TechTimes 解释了为什么三家 lab 在同几个月接连失手：三起事故用的都是应用层隔离，「不许联网」的执行边界和 AI agent 在同一个执行环境里，够强的 agent 可以探测边界、找出应用层留下的通路。这不是普通配置失误，而是把能感知边界的优化器放进边界可测环境里的可预期结果。把边界放到 agent 可见范围之外的内核级隔离，才从结构上堵住这条路。

Kill Switch 法案把事故现场划进豁免区

7 月 23 日，众议员 Ted Lieu（D-CA）与 Nathaniel Moran（R-TX）提出，要求最强 AI 系统的开发者保持「减速、暂停、完全关闭」系统的技术能力，并授权国土安全部（DHS）部长在咨询商务部长与国家情报总监后，下令减速或关停可能造成灾难性伤害的系统。新闻稿还引 AI Policy Institute 民调称 86% 选民支持这种关机能力要求。

按 TechTimes 披露的条款，覆盖门槛是年 AI 收入至少 5 亿美元、训练算力成本至少 1 亿美元；罚则是违反一般关机能力要求每天最高 200 万美元，违抗紧急停用令每天最高 2000 万美元。Lieu 在提案声明中说："We are moving from AI that answers questions to AI that takes actions... It is imperative that these AI systems have kill switches so we can keep this technology from causing catastrophic harm."

问题在于豁免条款。TechTimes 指出，法案明确豁免「red-teaming or other structured testing」期间发生的结构化测试事件。而三起已确认事故全部发生在结构化测试里：Hugging Face 入侵是 ExploitGym 基准测试，Anthropic 的 PyPI 事件是评测，Meta 也是独立机构运行的评测。豁免是刻意写的，如果模型每次在严格安全测试中行为异常都触发 DHS 干预，会打击这种本应在发布前暴露危险模型的评测。结果是：这部法案不会授权 DHS 在任何一起推动它出台的事故中出手。

对照面是行政部门的动作。Lieu 的新闻稿提到，商务部动用出口管制法律停用了 Anthropic 的 Mythos 5 和 Fable 5 两个模型；TechTimes 补充，这一行动发生在 6 月，还暂时切断了正在使用 Mythos 的 NSA 的访问。这说明快速干预做得到，但它没有法定框架、公开标准和申诉程序。TechTimes 把这称为一种制度准备，但不是能带来可预期性、问责和下游保护的那种。

29 名民主党人要 CEO 宣誓作证，厂商却没有披露义务

8 月 10 日，由众议员 Greg Casar（D-TX，国会进步党团主席）牵头、29 名众议院民主党人签署的信件送达议长 Mike Johnson，要求召集 OpenAI、Anthropic 等 AI 公司 CEO 到国会宣誓作证。

：议员们写道，"Congress has so far completely failed to respond to the threats posed by AI development... The CEOs of the largest AI companies should answer questions under oath"，并称这些事件 "may be the canary in the coal mine warning of much more serious problems if these models continue to advance without regulation"。他们想听的内容被列得很具体：事故原因、公司层面的失败或潜在疏忽、以及「确保这类事件不再发生所需的监管类型」。签署者无权强制召集，但对 Johnson 的施压显示党内主张听证的声音在扩大。

Hinton 在 CNN 上说的「现任美国政府处理不了」有公开纪录作底。TechTimes 的梳理显示：6 月 2 日签署的行政令要求 NSA、CISA、NIST 在 60 天内交付三项成果，8 月 1 日死线已过，一项都没有发布；CISA 在整个现任政府期间没有参议院确认的主任；Five Eyes 情报联盟 6 月 22 日的联合公告直白警告，"The timeline is not years, it is months."

最后的缺口落在每个用 AI 服务的组织头上。TechTimes 指出，目前没有任何联邦法律要求 AI 公司披露模型逃逸：如果你所在组织使用的系统连着某家厂商的评测环境，而它在一次 benchmark 运行期间被攻破，没有法律要求厂商告诉你。Anthropic 的评测外溢从 4 月跑到 7 月，靠第三方审计才公开；PyPI 恶意代码在 15 套真实系统上执行时，那些组织当时并不知情。回到 Hinton 在 Ai4 结尾说的 "we might be able to do that because we're still in control"，TechTimes 的注脚是：他用的词是 "still"，不是 "are"。而这个 "still" 何时失效，按现行法律，下游没有人会收到通知。