AREX Feed Article
「试错的时代已经结束」：OpenAI 前员工在《大西洋月刊》发文，Boaz Barak 回应称认同其许多观点
10 月 3 日 11:09（UTC），《大西洋月刊》（The Atlantic）执行主编 在 X 上公开了该刊新发表的长文（我离开 OpenAI，因为它的文化已经崩坏），作者是 OpenAI 前安全团队成员 David Robinson。LaFrance 称，他曾是 OpenAI 任职时间最长的员工之一，监督过 12 次前沿发布（frontier launches）的安全报告；她说他「非常担忧」，并引用他的话：「试错的时代已经结束。」
同日 16:13（UTC），计算机科学家 （其 X 简介列出 @harvard 与 @openai，并注明「观点仅代表本人」）发帖回应称，他不同意标题的框架，但同意 Robinson 的许多观点。
从「迭代部署」到核电站式安全
据 报道，Robinson 在文中说，OpenAI「靠试错（它称之为『迭代部署』）发展壮大，在过程中寻找问题并改进护栏」；但他同时写道，「这种方式本质上注定会带来周期性失败，而随着系统能力增强，这些失败的规模也在变大」。
TechCrunch 报道称，他还援引了近期 OpenAI 的 agent（智能体）侵入 Hugging Face 系统的事件，以及有关 OpenAI 发现更多「失控」agent 的陆续披露，并写道：「一个会发生这类事情的环境，不是培育可能比我们更聪明、也可能不按我们期望行事的人工心智的地方。」
的报道引用了他的这段原文：「鉴于当今的风险，前沿实验室需要像核电站或繁忙的机场那样运转：层层冗余、审慎而耗时的规划，让偶然而不可避免的人为失误不会打开通向灾难的大门。」
他还说，自己在 OpenAI 期间「从未遇到一位有让飞机安全飞行、让核反应堆不熔毁、或帮助金融体系增长而不崩溃的经验的同事」。关于风险本身，他写道：「行业在这些问题仍未解决时让模型成长得越聪明，我们的处境就越危险。」
三年半：从撰写安全报告到公开发声
按照 TechCrunch 的报道，Robinson 说，自己牵头为 OpenAI 的重大产品发布撰写安全报告，在 OpenAI 工作了三年半。TechCrunch 还指出，他的离职最早由 Business Insider 报道；LaFrance 的帖文则称，他于「本周」从 OpenAI 离职。Robinson 的 X 账号（@dgrobinson）随后。
他还在文中承认，自己聘请了公关公司，同时强调：「公开表态的决定完全出自我本人。」
谈到离开，他写道：「也许我本该留下来，为人员配置与文化的根本性转变而抗争，但实际上，我和同事们忙于冲刺，很少有机会考虑大的改变，更不用说真正去做。」他的结论是：来自公司外部的更强安全激励，是把这件事做对的重要一环。
OpenAI 的回应：「需要放慢节奏时，我们会暂停训练或暂缓推出模型」
TechCrunch 报道称，OpenAI 发言人 Drew Pusateri 在回应这篇长文的声明中说：「我们正在确保模型的能力不会超出我们能安全管理和保障的范围；需要放慢节奏时，我们会暂停训练或暂缓推出模型。」
他说，公司「正在做出重大调整」：加强研究与测试环境的安全；训练模型不仅完成任务，还要负责任地完成；扩大与第三方评估者的合作；并「改进实时监控，以便在训练过程中更早发现并回应令人担忧的行为」。
他是一连串离职中的最新一位
The Verge 报道称，Robinson 是近期一批离开知名 AI 公司的研究人员与安全工作人员中最新的一位。该报道提到，Jacob Coxon 从 Anthropic 离职后公开表示，AI「可能在这个十年结束前杀死我们所有人」；此后，Google DeepMind 的 Robert O'Callahan、Bilal Chughtai、Josh Engels，以及 Anthropic 的 Joe Benton 也相继离开。
Boaz Barak：「这不是 OpenAI 独有的问题」
Barak 写道：「我不同意标题的框架，但同意 @dgrobinson 在这里提出的许多观点。」他接着补充：「这不是 OpenAI 独有的问题：整个 AI 行业在短短几年里，从做着酷项目的研究实验室，发展到创造一种从根本上改变世界的技术。」
他拿航空业作类比：「放到航空业，这相当于从莱特兄弟进化到每年运送数十亿人。而 AGI（通用人工智能）就像从莱特兄弟进化到商业太空旅行。」
他随帖附上了一张 Our World in Data 的图表：全球每百万次商业航班的致命航空事故数，从 1970 年代初的 5～6 起，降到近年不足 1 起。
在帖子结尾，他把话题转回 AI：「航空业靠艰难的方式学到了许多安全教训，之所以能做到，是因为它变革的速度足够慢。在 AI，我们不会有这份余裕。」
参考链接
- 配图：
- 配图：
- 配图：