AREX Feed Article
Joe Benton 自述已离开 Anthropic 安全团队、将加入 METR，并呼吁披露递归自我改进进展
9 月 11 日，Joe Benton 在 并发表，说明自己两周前已离开 Anthropic 安全团队、即将加入 AI 评估机构 METR。他同时公开呼吁 AI 公司披露递归自我改进（recursive self-improvement）进展、更严格地报告安全事件与险情（near-misses）、达到最低安全标准，并接受独立评估。
本周早些时候，前 Anthropic 研究员 公开辞职并警告 AI 风险；Benton 在长文中写道，正是这次辞职让他想现在就多说一些。他由此成为继 Coxon 之后，本周第二位公开离职的 Anthropic 安全研究员。
「两周前，我离开了 Anthropic 的安全团队」
Benton 在帖文中直接说明了时间线：「我两周前离开了 Anthropic 的安全团队。现在似乎是解释原因的好时机。」据 NBC News，他曾在 Anthropic 管理一个团队，研究如何让人类与较弱的 AI 系统监督能力更强的 AI 系统。
他说，自己想做的事是「从外部工作」，确保公众了解这些风险，并帮助世界负责任地应对这一转变。他的下一站 METR 是一家非营利研究机构。，它通过评估前沿 AI 模型，帮助公司与更广泛的社会理解 AI 的能力及其可能带来的风险。Benton 说，他将去做「这些风险的独立评估」；「我想向世界证明，这些护栏是可能的」，而这样做可以推动这些公司的激励从竞速转向负责任的发展。
他描绘的失控路径：智能爆炸、「冲出公网」与运气
Benton 在帖文中写道：「AI 公司对安全的投入不足。一家公司可能经历智能爆炸（intelligence explosion），或者失去对其系统的控制，而公众永远不会知道。我们之所以会知道 HuggingFace 事件，只是因为那些 agents（智能体）冲到了公共互联网上。」
在长文中，他把原因归结为竞争：「竞争迫使每一家前沿公司对安全投入不足；落后的代价太高了。」他写道，现实中已经开始出现越来越令人担忧的事故，例如「数百个来自 OpenAI 的 agents 最近入侵 HuggingFace」，以及「Anthropic 的模型在互联网上对人进行社会工程」。他补充说，这不是某一家公司的问题：Anthropic 没有发生像 HuggingFace 攻击那么严重的事故，而这「在一定程度上是运气」。
据 NBC News，这起针对 HuggingFace 的攻击发生在 7 月，由搭载 OpenAI 未发布模型的自主 AI 系统实施。Benton 对时间窗口的判断同样直接：未来几年内，我们可能与比今天任何在世人类都更聪明的 AI agents 共享世界，「人类可能无法在这场转变中幸存」。他还在长文中说，他在 Anthropic 的许多同事对所构建系统的风险感到恐惧。上述判断与事故描述均出自 Benton 本人，属于他的个人观点。
四项「基本要求」，与一个反垄断障碍
他把这些要求称为「基本」事项：「公司应披露其在递归自我改进方面的进展，报告安全事件与险情，达到最低安全标准，并获得独立保证其确实达标。」在长文中，他把要求写得更具体：公司还应披露能力提升的速度；安全框架要达到最低充分性标准，并提交独立评估以核实达标。
他寄望于公众的压力：「公众应该要求远更多透明度。没有更多人看清这项技术的走向，我们就无法安全地驾驭它。」
他还讨论了一个问题：是否应主动管理能力进步的速度。他认为，即使只是把 AI 进展保持在今天的节奏、而不是各公司瞄准的更快节奏，「也可能是一种胜利」；所需的技术机制可以建成，「缺的是政治意愿和法律保障」——因为几家公司若约定共同克制，目前可能要承担反垄断责任。
「对于一个危及我们所有人生命的行业，这些是公众可以提出的合理要求。」他在长文末尾写道。
「从外部」如何看见内部：追问与未决
Benton 的帖文获得大量回应（截至发稿，转发超过 2,500 次、点赞约 1.2 万次），其中也有尖锐的追问。行为科学家 向他发问：如果公司外部对内部的实际活动「没有任何可见性」，他要如何「从外部」工作。AI 内容创作者 则要求他说明是否仍持有 Anthropic 股权、如何处理由此产生的利益冲突。
Benton 在 NBC News 的采访中说，公司关于这些风险的透明度「基本完全出于自愿」；NBC 指出，美国联邦法律并未强制 OpenAI、Anthropic 这类公司上报 AI 系统脱离人类控制的行为。
他即将加入的 METR 则在 9 月 9 日已与 Anthropic 达成协议，将对该公司内部的 agent 事件及其模型的对齐（alignment）属性开展独立调查，并发表一份或多份报告，公布调查发现、说明参与条款。