AREX Feed Article
FT:Anthropic、OpenAI 与 Google DeepMind 加强生物风险测试与访问控制
英国《金融时报》(Financial Times,FT)9 月 2 日 13:37 UTC(北京时间 21:37)通过官方 X 账号:Anthropic、OpenAI 与 Google DeepMind 正在加强生物风险测试(biological risk testing)、访问控制(access controls)及其他保障措施方面的工作,以限制先进 AI 系统被滥用;三家实验室希望这些系统能加速药物发现、助力疾病研究并预防大流行病。推文所链接的以《“All it will take is one screw-up”: AI groups race to limit bioweapon risks》(大意:一次失误就够了——AI 公司竞相限制生物武器风险)为题。
FT 报道交代的紧迫感是:高管与生物安全专家担心,未来模型可能帮助用户制造新型病毒或生物武器。Anthropic 自己的发布材料提供了可核验的具体动作:9 月 1 日它的 Claude Fable 5.1 与 Claude Mythos 5.1 是同一个底层模型,装了两套不同强度的防护;Mythos 5.1 只向开放。
继网络安全之后,生物安全成了 AI 的下一道关口
复述 FT 报道的导语称,AI 公司正在竞相应对“未来模型可能帮助用户制造新型病毒或生物武器”的风险,模型的科学能力被视为行业的下一项公共安全威胁;高管与生物安全专家日益相信,生物学将是继网络安全之后下一个需要设防的领域,因为新模型会越来越强大。
财联社 9 月 2 日以《生物风险已成为 AI 新的公共安全考题》为题;则把三家实验室的举动拆得更细:扩大生物风险测试、受信访问项目(trusted-access programmes)与监控,原因是模型在双重用途科学(dual-use science)上越来越强。
造生物武器的知识,也是造疫苗的知识
FT 报道称,负责审查和调查 Google DeepMind 各 AI 模型上可疑活动的团队由 Dawn Bloxwich 带领。她对 FT 说:“化学与生物领域发生的几乎任何事都是高度两用的。你用来制造生物武器的信息,也正是用来制造解毒剂或疫苗的信息。”称她的职务是 Google DeepMind 负责任开发与创新(Responsible Development & Innovation)总监,并补充了她的另一层意思:想看到健康领域取得进步,就必然要面对这些成果被滥用的可能性。
同一份知识既能用于制造解药和疫苗,也能用于制造生物武器,测试的边界因此无法按“好用途”与“坏用途”划清。
测生物能力,不能只靠跑代码
与网络安全相比,生物风险的评估更难。OODA Loop 的摘要点出,前沿 AI 实验室正在加强的生物风险测试比网络安全测试更难,因为网络能力可以在数字环境里直接测。Dealroom 的摘要补充了另一层:端到端的生物评估本身也可能制造安全风险,行业至今没有一种“干净”的方式测量威胁。
财联社在转述时称,AI 公司会测试模型的生物学能力及其潜在风险,并经常与外部专业评估机构合作,例如 SecureBio 与 Red Queen Bio。SecureBio 的 AI 研究负责人 Jasper Götting 对财联社解释:网络能力的跃升很容易被发现;在生物领域,要判断能力是否越线,通常需要公司开展成本高昂、进展缓慢的湿实验室(wet-lab)实验,也就是在实体实验室里操作试剂和生物样本、做真实生化试验。行业媒体 MedWatch 在中引生物安全专家的话补充:风险程度难以评估,部分原因是涉及潜在生物武器的完整规模实验出于安全考虑根本无法开展。
同一模型的两个版本,为何一个开放、一个锁门
Anthropic 的发布说明写道:Claude Fable 5.1 与 Claude Mythos 5.1 是同一个模型,只是防护等级不同,Fable 5.1 公开发布,Mythos 5.1 只通过受信访问项目提供,其防护专门为网络安全与生命科学研究设计。
Anthropic 没有把 Mythos 5.1 直接开放。产品页 FAQ 给出的理由是:模型在网络安全、生物学等具体领域的能力已经先进到“可能被滥用来制造网络攻击或危险武器”;要更广泛地释放 Mythos 级能力,就得推出 Fable 5.1 这类带防护的版本,在风险方向上挡住或限制它的表现。
Anthropic 称,发布前的化学生物风险测试包括专家红队测试、自动化评估,以及把博士级生物学家与 AI 专家配对的桌面推演,检验模型能否达到人类专家的水平。结论是:Mythos 5.1 的相关能力高于 Mythos 5,但仍低于公司负责任的扩展政策(Responsible Scaling Policy)所定义的下一个风险等级,因此沿用 Mythos 5 的防护,限制对研究级生物学能力的访问。
发布说明公布了 Mythos 5.1 在分子设计上的实测表现:它用开源蛋白质设计与折叠工具设计高亲和力结合蛋白,设计结果送交两家外部机构做实验验证。官方称,12 个靶点上的命中率接近 50%,而蛋白质设计行业今天的典型命中率是 10~15%;在三个靶点上,结合亲和力比提交给 Adaptyv Bio 竞赛的最佳设计高一个数量级。
生物学能力的访问由生命科学验证计划(Life Sciences Verification Program)控制。它以邀请制 beta 形式启动,让高级生命科学研究者在“降低生物学防护”的设定下使用 Mythos 5.1;项目与美国政府合作开发,首批参与者已经登记,Anthropic 计划随后向更广的生命科学界开放注册。目前 Mythos 5.1 只提供给部分美国机构。
面向大众的 Fable 5.1 则把防护做得更少误伤:新的生物学防护对良性请求(基础生物学与医疗问题)的干预频率,比 Fable 5 首发版本低 85%;双重用途的生物学与化学研究类提问仍会被转给 Opus 模型处理。网络安全侧类似:Fable 5.1 现在可以用于发现软件漏洞,但渗透测试、漏洞利用生成和基于二进制的漏洞扫描仍在禁止之列。
从 6 月的联名信到 9 月的受信访问
收紧最强模型访问的做法,Anthropic 今年已有先例:4 月它曾因担忧 Mythos 模型发现和利用漏洞的能力过强而限制其发布,财联社称这一幕为“Mythos 时刻”,让业界正视 AI 网络能力逼近临界点的问题。
6 月 4 日,OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Google DeepMind 的 Demis Hassabis 与微软 AI 的 Mustafa Suleyman 四位 CEO ,要求立法强制在美运营的合成 DNA 与 RNA 供应商筛查每一笔客户订单。信中写道:“鉴于 AI 发展的速度,历史上阻止恶意行为者取得生物武器的知识门槛,正在面临实质性的侵蚀。”
Dealroom 在评论中认为,生物安全正从边缘议题变成前沿 AI 的产品准入与监管约束,将影响模型分层、企业管控,以及 AI-生物学初创企业要做的尽职调查。
但风险有多大,至今没有共识。斯坦福大学微生物学与免疫学教授 David Relman 对财联社表示,科学界对 AI 在生物领域构成的风险程度尚未形成共识;即便如此,科学界与政策制定者目前对相关威胁仍“准备不足”。