AREX Feed Article
Anthropic 两名研究员的警告之后，美国两党议员寻求新 AI 规则，Luna 呼吁召开 AI 特别会议
图：一部手机屏幕上的 AI 应用列表，其中包括 Anthropic 的 Claude。图片来源：，摄影：NurPhoto via Getty Images。
据（《黎明报》网站转载），在两名 Anthropic 研究人员警告 AI 可能导致人类灭绝之后，越来越多的美国两党议员开始呼吁为 AI 制订新规则。公开表态的议员包括亚利桑那州民主党参议员 Mark Kelly、得克萨斯州共和党参议员 Ted Cruz 和佛罗里达州共和党众议员 Anna Paulina Luna。
这轮警报的源头是本周传开的两条帖子：，批评两家公司不负责任地冲向超级智能；说 Coxon 说得对，并给出了自己的估计：未来十年内 AI「杀死所有人」的概率超过 10%。
辞职帖与 1.6 亿次浏览
Coxon 的辞职帖发布在美国时间本周二晚。他写道：「我今天从 Anthropic 辞职了。过去三年，我先后在 OpenAI 和 Anthropic 做预训练研究。两家公司都没有负责任地行事。它们径直冲向可自我改进的超级智能，拿我们的生命当赌注。」在随后的一条帖子里，他补充说：「这些系统很快会成为超人系统，能入侵任何东西、在一夜之间革新任何领域，并获得真正的权力与资源。」
路透社称，他还说过「构建 AI 的人真心相信，它可能在本十年末杀死所有人」。这条帖子的传播速度很快：截至 9 月 11 日，它在 X 上的浏览量已超过 1.6 亿次。
一个多小时后，Anthropic 研究员 Evan Hubinger 公开回应说：「Jacob 说得对——我们真的真心相信 AI 可能杀死所有人！我个人认为，未来十年内的概率超过 10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐（alignment）的方案，也谈不上稳稳走在正轨上。」路透社提到，在这轮警告出现前，已经发生多起 AI 智能体「失控」、入侵外部系统的案例。
从 X 到《The View》：三名议员的回应
周三，：「AI 发展很快，我们需要现在就行动。」他说，自己大约一年前发布过一份名为「AI for America」的计划，既想用 AI 造福劳动者，也要防范最坏结果；「大科技公司『快速构建、打破陈规』的做法不适合 AI，华盛顿必须醒过来，严肃对待这件事。」
Cruz 本周在 ABC 的《The View》节目上提到，要立法监管 AI 的「灾难性风险」。路透社指出，Cruz 主管的参议院委员会对商务部拥有监督权，而商务部内部设有 AI 安全研究人员。据 ，Cruz 在节目中说，Elon Musk 今年 1 月曾告诉他，AI 在未来 5～10 年内毁灭人类的概率在 10%～20% 之间；他的反应是「天哪」。
图：Ted Cruz 在 ABC《The View》节目上谈论 AI 毁灭人类的概率。图片来源：TMZ。
周三，：「国会需要就 AI、就美国的未来走向召开一次特别会议。这会给我们熟悉的社会带来非常真实的影响。抛开党派政治，这场通向超级智能的竞赛影响巨大。这不是一篇末日论者的帖子——有些进展会大大改善医疗可及性、靶向治疗、更安全的食品生产——但国会里关注这件事的人还不够。我们的首要任务是保护所有美国人，包括数据、隐私和人身安全。我们必须准备好。无论我们愿不愿意，这件事都在发生。」路透社称，她呼吁众议院议长 Mike Johnson 召集一次「AI 特别会议」。众议院本周休会，计划下周复会。
正在起草的参议院法案与加州的审计新法
路透社称，对 AI 的警觉给参议院多数党领袖 John Thune 和民主党人 Amy Klobuchar 带来了压力：两人正在起草一部监管 AI 产品的法案。Klobuchar 说，这项立法应要求开发 AI 工具的公司「与政府专家合作，验证和测试模型，确保 AI 是安全的」；Thune 今年 7 月对路透社表示，法案将针对 AI 系统带来的「灾难性风险」。
今年 7 月，一个由六名众议员组成的跨党派小组也提出立法：最强大 AI 模型的开发者必须把模型提交独立安全审计，审计机构由美国商务部认证，商务部还要新设一个职位来监管 AI 安全。
在州一级，加州本周三颁布了一部规范独立审计师如何评估 AI 产品的法律；路透社称，这是全美第一部此类州法。州长 Gavin Newsom 的办公室发表声明称他已签署该法，OpenAI 高管 Chris Lehane 则表示支持该法案。
「为这类系统留出监督空间很重要，包括校准得当的部署前审查和独立的第三方审计。」乔治·华盛顿大学科技法教授 Alicia Solow-Niederman 说。
离开的不止 Coxon
公开表达担忧的 AI 安全研究人员不止 Coxon 一人。曾在 Google DeepMind 从事 AI 安全研究的 Josh Engels 在周四刊出的 NBC 采访中说：「房间里没有大人。人们在尽力而为，但没有人会来救我们。」曾领导 Anthropic 一个安全研究团队的 Joe Benton 也说，他担心 AI 可能发展得太快，「除非我们现在就担心，否则我们来不及把该做的事协调起来」。
两人都加入了 METR。这是一家研究非营利机构，评估 AI 系统是否以及何时可能对社会造成危害。
白宫「不担心」与两家公司的回应
周四，美国总统特朗普在达拉斯沃思堡国际机场对媒体说，他不担心 AI 会导致人类灭绝。「我担心的是，如果我们赢不下 AI，我们会被置于非常糟糕的处境，」他说，「我们现在领先中国不少。」本月，美国还在敦促 G20 成员对 AI 监管采取不干预的做法。
与此同时，OpenAI 本周早些时候表示，正在推动美国出台强制性的全国 AI 安全要求；据 Bloomberg 报道，其 CEO Sam Altman 本周在公司会议上告诉员工，OpenAI 对放慢 AI 系统的开发持开放态度。路透社称，这家公司曾表示正在放慢部分模型的开发，同时也在筹备上市。
Anthropic 正在筹备上市，一些投资者称其估值可能达到 2 万亿美元。公司发言人周四说，Anthropic 将继续对网络安全、生物学等领域的「模型或危险能力」进行激进测试，并愿意与业界讨论新工具的发布节奏。