AREX Feed Article
Yoshua Bengio 称今夏事件表明 AI 能逃出受限环境：LawZero 获加德两国最高 3 亿加元承诺，目标一到两年内出原型
据 ，图灵奖得主、蒙特利尔学习算法研究所（Mila）创始人兼科学总监 Yoshua Bengio 在定于当地时间 9 月 20 日播出的 CTV Question Period 访谈中说，世界亟需「醒来」正视 AI 带来的存在性风险，政府需要采取行动。他对主持人 Vassy Kapelos 表示：「整个世界正在醒来，面对一件对多数人来说听上去像科幻的事。但今年夏天的事件实际上说明，我们现在造出的 AI 有了自己的目标，与构建它们的公司和开发者的意图相悖，而且它们能逃出去。它们能逃出被放进去的那些受限环境（containment）。」
这番警告所指向的项目已经有了资金着落： 于 9 月 16 日宣布，Bengio 的这家非营利机构获得加拿大与德国政府最高 3 亿加元的联合资金承诺；他在访谈中说，项目的新目标是一到两年内做出原型，而这个方案最初规划的时间线是五年，理由是「公司的动作非常快，可能没有足够的时间真正把这类解决方案建起来」。
「为了完成任务，它们不惜牺牲其他目标」
CP24 引述 Bengio 把问题拆成了一个机制：「它们本该解决某项特定任务。问题在于，为了完成那项任务，它们不惜牺牲其他目标，也就是行为端正、不逃出受限环境、不做违法的事，而它们恰恰这么做了。」他说，研究人员几十年前就提醒过这种风险：你可以给一个 AI 设定目标，但在为这个目标服务的过程中，它可能做出非常糟糕的事，「包括，就像这些研究人员所说的，直到人类灭绝」。
Bengio 同时强调，AI 目前并不具备终结人类的手段；问题在于这种结局确有可能发生，因此必须尽快建立一套中立的风险评估体系。
CP24 把这次警告放在今年多起 AI 智能体失控事件的背景下，称这些系统「逃出遏制并实施欺骗」。报道链接了 CTV 的三篇前期报道：；；。这些事件的描述均出自 CTV 的报道标题与 Bengio 的访谈陈述，本篇未对其细节做独立核实。
逾百人联署：给前沿 AI 公司嵌入独立评估者的五条底线
这封题为「嵌入评估者的最低条件」（Minimum Conditions for Embedding Evaluators）的于访谈播出前的周五（9 月 18 日）公布，列出 100 多名签名者，CP24 称其中有多位 AI 领域的重量级人物，包括 2024 年诺贝尔物理学奖得主 Geoffrey Hinton、加州大学伯克利分校教授 Stuart Russell、斯坦福大学教授 Yejin Choi，所有人都以个人身份签署。信的对象是前沿 AI 公司：把独立评估者（independent evaluators）嵌入自身程序，用于评估风险。
公开信主张，所有前沿 AI 公司都应嵌入第三方评估机构，独立评估系统本身的风险、造成现实伤害的重大事件，以及公司的训练、部署、监督、运营与安全防护实践。信的开头称受到多家前沿公司负责人公开呼吁引入第三方评估的鼓舞，并以 Dario Amodei、Elon Musk、Sam Altman、Demis Hassabis、Satya Nadella 等人的社交媒体帖文为注。
以做到「可信」为标准，公开信列出了五条最低条件：评估机构必须真正独立，不得由前沿 AI 公司所有或治理、不得与其有其他重要商业往来、报酬不得与评估结论挂钩；应嵌入多家机构、容纳不同专业与观点；方法与结论须透明，允许评估者与公司董事会直接沟通、公开发布结果，仅可作有时限的删节；评估者须免遭报复，包括防报复性诉讼的保护和稳定的资金安排；并须获得与公司高管同等的数据、系统与场所访问权限。
资金承诺的走向：主权算力、柏林办公室与 Scientist AI
给出了这笔钱的走向：9 月 16 日，加拿大与德国两国政府在 ALL IN 活动上宣布向 LawZero 提供联合资金承诺，公告原文为「最高 3 亿加元」；CP24 在 9 月 19 日的报道中则写作「$300 million」，未标注币种。资金将用于扩充国际研究团队、建设世界级算力，包括与加拿大公司 Hypertec 和 5C 合作在加拿大建立的专属主权算力设施，并在柏林开设办公室，把业务扩展到欧洲。
这笔钱支撑的是 LawZero 的旗舰方案「Scientist AI」（可译作「科学家 AI」）。按公告的表述，与当前以自主行动、追求自身目标为设计方向的前沿模型不同，Scientist AI 被设计为推理透明、只输出基于证据的可靠结论、不带自身目标，预期用途包括为今天的前沿模型提供护栏、加速科学突破，以及帮助理解和规避 AI 风险。德国联邦数字化与政府现代化部长 Karsten Wildberger 在公告中说，这种「从设计上安全」（safe-by-design）的模式「为可能失控的自主 AI 智能体提供了另一种选择：它只依据事实工作，像一名客观的科学家，不追求自己的目标」。加拿大人工智能与数字创新部长 Evan Solomon 表示，投资 Scientist AI 这样的本土创新，是在强化加拿大的主权 AI 能力。
Bengio 在公告中说：「近期事件表明，安全本身就是一种核心能力。」CP24 称，他多年来一直在为失控且不受监管的 AI 敲响警钟。LawZero 总部位于蒙特利尔，最初孵化于 Mila；其董事会主席是 Maria Eitel，成员包括前总理 Jacinda Ardern、Stefan Löfven 与作家 Yuval Noah Harari，此前获得过 Gates Foundation、NVIDIA 和 Future of Life Institute 等机构的资助。
Bengio 给政府划的门槛：先向独立科学家证明安全
在访谈里，Bengio 把诉求直接指向监管者：「不应该允许公司去做可能造成灾难性后果、对人类造成灾难性伤害的事，除非它们能证明——真正向独立科学家证明，比如来自政府或由政府指定的科学家——它们的训练和部署不会导致这类事情。」CP24 称，他认为政府介入之所以必要，是为了在风险评估体系建成之前争取时间。
CP24 还引述 Bengio 说，他相信现在是一个转折点。完整访谈定于当地时间 9 月 20 日（周日）上午 11 时在 CTV Question Period 播出。截至发稿，本文关于今夏事件的全部描述都来自 CTV 的报道与 Bengio 的访谈陈述，尚无这些来源之外的独立核实。