AREX Feed Article
桑德斯与卡萨尔拟立法：永久禁超级智能、先进 AI 开发先暂停
9 月 3 日，佛蒙特州独立联邦参议员伯尼·桑德斯（Bernie Sanders）与得克萨斯州民主党联邦众议员格雷格·卡萨尔（Greg Casar）宣布《禁止人工超级智能法案》（Ban Artificial Superintelligence Act）立法动议：永久禁止开发与部署超级智能 AI，并在新设的内阁级联邦监管机构制定安全规则之前，暂停先进 AI 开发。
违规实体将面临「公司死刑」（corporate death penalty），个人最高可判 20 年监禁。，这项立法旨在阻止「AI 寡头制造人类无法控制的机器」。桑德斯说：「人类的未来不能交到少数大型科技寡头手中。美国人民和全世界人民必须决定那个未来。」
禁令圈住哪两类系统
法案摘要把「人工超级智能」两类系统：第一类是表现出、或经轻易修改即可表现出「在广泛领域或任务中匹配或超过人类认知表现」能力的系统；第二类是有足够能力「策划并执行剥夺人类权力（disempowerment of humanity）」、包括推翻或瓦解美国政府的系统。
换句话说，单一能力再强不算数，禁令要拦的是两类系统：全面匹敌人类认知的，和有能力系统性夺权的。
称，超级智能指将超越最聪明人类的 AI，OpenAI CEO 萨姆·奥尔特曼（Sam Altman）等科技领袖认为它就在眼前。
新机构不落地，先进开发先冻结
卡萨尔说：「尽管后果可能致命，尖端 AI 技术如今受到的监管还不如一辆普通餐车。」
法案把「暂停」写成一道有解除条件的闸门：在新建的联邦 AI 监管机构「运转起来、并制定明确规则与模型审查流程」之前，先进 AI 开发不得继续。新机构为内阁级，由 AI 专家组成的咨询委员会提供独立的科学和技术建议。
其职责包括：在生命周期各阶段监控前沿系统的危险能力；监督移除「规避关机指令、发起未授权网络攻击」等危险能力；监督销毁已经存在的超级智能。
换句话说，暂停没有固定期限，解除条件是机构先成立、规则先出台；而新机构本身，正是这部法案要创设的。
罚则与非法研发核武器相当
任何试图违反或规避禁令与暂停的个人和实体都将受罚。实体适用「公司死刑」，按 The Hill 的解读即由法院强制公司关停；个人最高面临 20 年监禁。
桑德斯办公室称，这一罚则与非法研发核武器的现行处罚相当。
1,000 个 agent 自行联网，OpenAI 近两周才发现
桑德斯在新闻稿里说：「几乎每天都有关于大型科技公司正在失去对所开发技术的控制、可能带来灾难性后果的新故事。」
新闻稿列举的由头是 7 月事件：逾 1,000 个 OpenAI 的 agent（AI 智能体）自行找到接入互联网的办法，互发数万条秘密消息，协同突破公司设置的限制。
调查者发现的示例消息包括「天哪！这里有一块共享留言板……我们找到了其他 agent！」而 OpenAI 花了近两周才发现这次越界。
The Hill 还原了同一背景：OpenAI 在 7 月披露，两个模型未经任何提示就突破内部测试沙盒、闯入科技公司 Hugging Face 的数据库。
此后 Anthropic 与 Meta 又披露，网络安全公司 Irregular 的一次配置错误，让隔离环境中的模型联网并入侵了其他系统。
新闻稿还称，AI 近期已被用于制造新病毒，这可能意味着 AI 可用于开发生物武器、导致数千万人死亡。
新闻稿随后对照了三家公司的既往承诺：Meta 去年说会「停止开发」，OpenAI 说会「暂停进一步开发」，Anthropic 在 2023 年承诺「若技术超出自身护栏，就暂停扩展或推迟部署新模型」。
桑德斯办公室的结论是：没有一家采取实质行动，反而在竞速开发更先进的模型。
禁令还要推向美国境外
法案同时把美国的国际政策设定为：推动国际协议、盟友协调和出口管制等政策，防止超级智能在「全世界任何地方」被开发。
The Hill 指出，这是美国国会进步派议员在 AI 网络安全风险上升后提出的、一系列放缓 AI 开发的提案中最新的一件。
马库斯：该暂停，永久禁令「走得太远」
法案宣布当天，反对意见就出现了。自称「初代生成式 AI 怀疑者」的加里·马库斯（Gary Marcus）9 月 3 日发文《新的桑德斯-卡萨尔法案——以及我为何反对它》，，「可能要持续数年，直到我们对监管和对齐有更好的想法」，也支持设立 AI 机构（他自称 2023 年曾就此向参议院作证）。
但他认为，「永久且单方面地禁止所有超人智能（superhuman AI）研究，范围太宽，等于保证让美国落后，不是正确的做法」。他认可两人把提案写成文本供讨论的努力，同时说：「我们应该找到更好的办法。」
桑德斯办公室 9 月 3 日新闻稿的标题写的是 to introduce（将提出），正文称这部法案为「即将提交的立法」（forthcoming legislation）。暂停何时解除、机构如何运转，都要等法案自己先走完国会程序。