AREX Feed Article
OpenAI CEO Sam Altman 预计 AI 公司间将宣布放缓开发的协议，并称 10% 灾难性风险不可接受
据《财富》9 月 12 日刊出的，OpenAI CEO Sam Altman 暗示，领先 AI 公司可能即将宣布一项放缓 AI 开发、共同应对安全风险的协议。《财富》总编辑 Alyson Shontell 问他，为何不与 Anthropic CEO Dario Amodei、SpaceX CEO Elon Musk、Google DeepMind 联合创始人兼董事长 Demis Hassabis 坐到一起，制定一份应对安全问题的计划。Altman 回答：「我认为那将会发生。」
《财富》在报道中提到，彭博社此前援引匿名信源报道称，Altman 在本周 OpenAI 的一次员工会议上表示，公司正考虑放缓最前沿 AI 的开发，并可能与其他实验室协调，但不清楚其他公司是否会同意。这次专访，则是 Altman 本人对协调问题的公开回应。
「我不会预先公布」：Altman 谈风险门槛与推进前提
在同一个回答里，Altman 先给出一句保留：「我不会预先公布那些我认为应该在某个时候由大家共同分享的私下讨论。」随后，他仍回到了同一结论。
在这次专访里，他还把风险门槛说得很明确：Altman 强调，OpenAI 把安全置于任何商业考虑之上，10% 的灾难性 AI 结果风险不可接受。他还说，最先进、尚未发布的模型已经非常强大，在安全上取得更多进展之前，不应再往前推进。
谈到继续推进能力的前提，他说：「我不认为我们现在已经到了这样的位置：在可监控性（monitorability）、对齐（alignment）、理解模型在做什么、以及确保模型遵循人类价值和用户意图上没有取得更多进展的情况下，就可以把能力继续大幅推进。」
他还说：「我们所有人都肩负巨大的责任，不能让自负、利润激励或其他任何东西挡道。」
同一天，Amodei 公布了三步放缓方案
《财富》专访刊出的同一天，Anthropic CEO Dario Amodei 发布长文（「我们必须控制前沿推进的节奏」），并在 了这件事。他在文中写道：「我们必须放慢提升 AI 模型能力的速度。进展看上去仍会很快，我们必须明智地利用争取到的时间。」
Amodei 把方案分成三步。第一步由 Anthropic 单方面先行：它承诺邀请一支第三方评估团队长期进驻公司，给评估员办公室工位、门禁卡和公司笔记本电脑，并开放与内部风险评估团队大致相当的访问权限，用来核实公司是否遵守自己的安全实践与承诺、上报事故，并评估模型乃至训练流程的对齐情况。Amodei 点名 METR 这类机构，并称评估员有权公开关键发现，公司只保留有限的删改权；他呼吁其他前沿公司也跟上这一步。
第二步，民主国家内的前沿 AI 公司协调建立共同安全标准、并对不受约束的进展速度设限。第三步，由民主政府尝试与威权政府展开全球协调，同时正视核对合规情况的困难。他还强调，放慢节奏（pacing）并不意味着停止模型训练或技术进展。
Amodei 写道，有两个情况让他确信必须放缓：一是自今年夏天前后起，AI 前进的速度大幅加快，主要推动力是 AI 构建下一代 AI 的能力，也就是通常说的递归自我改进（recursive self-improvement）；二是他称为「OpenAI-Hugging Face 事件」的一起事故，一个 agent（智能体）群体对未被要求攻击、也与任务无关的目标发起了网络攻击。
在 X 上引用 Amodei 的帖文写道：「我很喜欢这个，真心希望整个行业能携起手来，让这件事成真。」
辞职、指控与「高于 10%」的风险估计
这篇报道还写到了实验室内部的另一种声音：Anthropic 研究员 Jacob Coxon 公开宣布辞职，指责 Anthropic 与 OpenAI（他此前也在 OpenAI 工作过）在开发越来越强大的 AI 系统方面不负责任。他写道：「它们正径直冲向可自我改进的超级智能，拿我们的生命赌博。」
Anthropic 对齐科学负责人 Evan Hubinger 在回复这条辞职帖时说，Coxon 有一点说得对：许多 Anthropic 与 OpenAI 的研究者确实相信，越来越强大的 AI 可能毁灭人类。「我们确实是真心相信 AI 可能杀死全人类！」他个人给出的估计是：未来十年内出现这一结果的风险高于 10%。
协议的形式、监督与反垄断：关键问题还没有答案
《财富》指出，目前还不清楚企业间的「暂停」会是什么形式：对某些工作完全停止，还是仅仅放缓；签约各方将如何被监督，也没有说明。
法律是另一道关口：《财富》提到，AI 高管们此前已表示，任何协调放缓都需要政府同意，以避免触犯美国反垄断法。Amodei 在长文里写得更具体：出于反垄断方面的原因，美国政府出面调解、或至少促成这类讨论会有帮助；它不必亲自参与，但需要为某些安全对话出具一份窄口径的豁免。他同时写道：「有些对节奏有实质影响的协调形式在法律上很棘手，将需要政府支持。」
接下来的一个公开场合是：据《财富》，Altman 与 Amodei 下周都将在旧金山的 Salesforce Dreamforce 大会上发言，Altman 定于下周二（9 月 15 日）下午与 Salesforce CEO Marc Benioff 对谈，Amodei 的具体时间尚不清楚。