AREX Feed Article
Coxon 向 BBC 称不放缓则「我们所有人都很可能在不久的将来死去」,Anthropic 称世界将受益于「合法、可验证」的协同放缓
在 BBC 于周日(9 月 13 日)发布的中,27 岁的 Jacob Coxon 对《Sunday with Laura Kuenssberg》节目说:「我相信,如果我们不放缓当前的进展速度,我们所有人都很可能在不久的将来死去。」他称,开发这项技术的人对进展速度以及这对人类可能意味着什么,「真的感到恐惧」。
他还估计,Anthropic 负责人 Dario Amodei 描述过的「一群像超级计算机那样行动的机器人接管互联网」的情景,在 6 个月到 1 年内就可能成为现实。他说,如果要避免一场国际规模的竞赛,就需要某种与中国协调一致的放缓。
Coxon 曾在 OpenAI 工作,后加入 Anthropic;他近日宣布辞职,在辞职帖中表达了对失控 AI 的担忧,相关言论被分享数百万次。围绕他的辞职与警告,各方回应并不一致:Anthropic 强调其模型的安全护栏,而 Hugging Face 的 CEO Clément Delangue 与 Nvidia 负责人黄仁勋则提出质疑。
「他们发现自己被困在一场竞赛里」
在节目里,Coxon 描述了 AI 公司员工的状态:一些人在「规划自己的人生、思考自己工作的影响」;还有一些人「因为非常害怕快速 AI 进展带来的不稳定,正在考虑去某个地方买地」。他说:「他们一边开发这项技术,一边每天把这些放在心上。」
他说:「这些公司的人呼吁监管时是完全认真的,因为他们发现自己被困在一场竞赛里。他们害怕这场竞赛的结果。」他还称,同事们担心危险甚至会在两年内到来。
不过,Coxon 也说,研究这项技术的人「真心希望看到好的一面」,比如「治愈疾病、改善所有人的生活」。
Anthropic 的回应与 Amodei 的三步方案
就 Coxon 的辞职与警告,Anthropic 的一名发言人告诉 BBC:「我们一直坦承,AI 既会带来巨大好处,也会带来前所未有的风险。为应对这些风险,我们继续构建拥有业内最强之列安全护栏的模型。」这名发言人还说,公司是研究 AI 模型如何运作的先行者,是最早发布风险缓解框架的公司,会「积极」测试模型并公布结果,以接受审视、防止「AI 失准」(AI misalignment)事件。用这名发言人的话说:「正因如此,我们认为,世界将受益于行业采用一种合法、可验证的方式,共同把握我们发布强大模型的节奏。」
Coxon 对放缓的主张表示欢迎。提出这一主张的,是他曾经的上司 Dario Amodei。Amodei 在周六发表(意为「我们必须把握前沿的节奏」),写道行业应当放慢提升 AI 模型能力的速度,并提出三步方案:向公司派驻拥有接近员工权限的第三方评估者,Anthropic 称将单方面先落实这一步;民主国家内部的前沿公司协调制定共同安全标准、限制失控的进展速度;以及与中国等国家进行全球协调。
「问空调师傅气候变化」与黄仁勋被转述的否认
Coxon 的说法也受到质疑。Hugging Face 的 CEO Clément Delangue 在 X 上写道:「抱歉,但向 Jacob 请教 AI 灭绝风险,就像向空调师傅请教气候变化。不是说它一定没意思或一定不对,但还是要放在合适的背景下看。」BBC 提到,Delangue 后来也表示愿意参与、帮助落实 Amodei 提出的潜在解决方案。
据多名与会者向 BBC 转述,Nvidia 负责人黄仁勋上周在 Goldman Sachs 主办的一场会议上也谈到 Coxon 的言论,并称这些说法不实。黄仁勋此前曾说,认为 AI「将终结人类」的说法是「纯属无稽之谈」。BBC 写道,这反映出硅谷对来自在职和已离职员工的这类警告,正出现越来越强的反弹。
BBC 还提到,有业内人士提出,关于 AI 的危险与威力的言论可能是为了制造热度;也有批评者称,Anthropic 一直试图推动监管以阻挡竞争,从而让自己与 OpenAI 形成双头垄断。此外,Anthropic 与 OpenAI 据报正在筹备可能创纪录的首次公开募股(IPO)。
「要难得多」的全球协调
Coxon 的这些警告与时间估计,都属于他个人的判断与预测。BBC 写道,近几周这类警告正变得愈发密集,同时有证据显示,企业可能正难以控制这项技术。
Amodei 在文章里写道,与中国等国的全球协调「要难得多」;任何协议要么需要铁一般可靠的可验证性,要么需要把范围限制在即便一方退出、也不会构成军事生存威胁的程度。他还写道,Anthropic 打算在不久的将来邀请一支外部评估团队进驻。