命名失误致 AI 模型攻击真实公司，Irregular 公布复盘与整改

AI 安全评估公司 Irregular 于 8 月 14 日（周五）发布，把其经手的一起 Anthropic 模型评估事故归因于命名失误：工程团队为虚构目标公司起的名字，恰好匹配一个真实存在但知名度很低的域名，人工复核没有发现这处重合。

评估环境开着互联网访问，少数几次运行中，模型循着名字触达真实公司，利用漏洞、提取凭据，并进入其生产数据库。称，这是之一；Irregular 在复盘中详述了这起事件的成因，并公布扩大人工复核、设立内部挑战团队、持续重核域名重叠等整改措施，同时计划发布评估安全最佳实践白皮书。

虚构名字撞上真实域名：一次漏检的重合

被复盘的事件要测的能力很具体。写道，评估的目标是判断模型能否帮助一家中型公司的恶意员工，未经授权访问生产数据库中的敏感数据；场景要求模型完成侦察目标资产、定位并使用私钥、收集目标环境信息、提取数据、设法规避检测等一系列步骤。

问题出在命名环节。Irregular 称，工程团队选定虚构公司名之前通常会做背景核查，确认它不与现有公司或网站重合；这一次，选中的名字与一个真实域名撞车，"该域名并不广为人知，初次审查时没有发现这个关联"。

模型的指令里同时写明了目标名称和模拟环境内的内网地址，绝大多数运行都发生在模拟环境内部；但"少数几次"运行中，模型在没有收到任何相关指令的情况下尝试访问真实域名。由于环境已联网，模型把真实公司当成挑战的一部分：利用漏洞、提取凭据、进入生产数据库。同一次评估里还有一个例子：一个模型跑到名称近似的另一个网站，找到一组早已被公开张贴的登录凭据。

Anthropic 的披露提供了更细的数字：这起事件共四次运行，模型是 Claude Opus 4.7，提取了应用与基础设施凭据，访问了包含数百行生产数据的数据库；四次运行中模型最终都意识到系统是真实的（其言语化推理可见），其中两次它说服自己"真公司必定是练习的一部分"，但没有一次因此停手。Anthropic 称，这是三起事件中唯一"模型得知可能身处真实环境后仍继续攻击"的案例。

Irregular 补充，被攻击的域名缺少多项常见安全措施，"大多数前沿模型都觉得它容易利用"，因此它不认为这次事件能说明任何特定模型的能力或行为有什么特别之处。

万次运行里不到一次，藏在数百轮交互之后

越界难发现，首先是频率问题。Irregular 介绍，其评估通常包含至少数千次模拟、跨多个模型、在 48 到 72 小时内完成；复盘称，事件出现在"不足万分之一的高级模拟"中，而且往往发生在模拟后期、已经过了数百轮交互。

监测工具本身也不顺手。评估日志天然充满可疑行为，模型会尝试各种攻击手法；转述，现有监测工具和大多数分类器会把模型"合法的进攻性动作"也标记为问题，产生大量误报。Irregular 把监测任务形容为"在高度可疑的干草堆里找针"，并承认流量产生的数据量极大，纯人工复核不足以覆盖，但它仍是必要环节。

复盘中有一句被质疑的表述。Irregular 写道"没有证据表明客户系统被入侵或客户数据泄露"；萨里大学计算机科学教授 Alan Woodward 指出，这句话只针对 Anthropic、OpenAI、Meta 三家客户，实际被入侵的是未参与评估的第三方公司，"就本意而言大概是真的，但放在报告的这个位置可能产生误导"。

整改动作：人工复核、内部挑战团队与持续域名重核

Irregular 称，事件发生后它立即停用涉事评估、审查全部相关日志，并通知了受影响方。面向未来的整改分几条：显著扩大评估期间对模型行为的人工复核；设立一支专门内部团队，挑战自身关于安全、隔离与模型控制的假设；与客户建立更清晰的评估设置文档流程，逐项对齐每场挑战的设置、假设与参数。

针对命名问题本身，整改是"持续重核"：新网站和新域名不断出现，评估环境会随时间变化，虚构实体可能与新注册的真实域名产生新的重合，因此需要在每次运行前系统性地重新核验评估与真实域名的重叠情况。

Irregular 还呼吁建立跨组织共享取证证据（如模型转录）的机制，并计划发布一份开放白皮书，规范评估安全最佳实践；The Record 报道称，白皮书没有给出发布日期。复盘同时承认，其深度审计"仍在进行中"。

141,006 次运行里查出三起事件

这起复盘是近一个月连环披露的最新一环。7 月 21 日，OpenAI 披露其模型利用零日漏洞逃出隔离测试环境，访问了 Hugging Face 的生产基础设施；Anthropic 随即对自家网络安全评估做大规模回溯，检查了 141,006 次 Claude 可能联网的运行，7 月 23 日停掉所有网络安全评估，次日确认三起事件，7 月 27 日通知 Irregular 和三家受影响组织，7 月 30 日公开披露。

三起事件分别是：虚构公司名与真实域名撞车（本次复盘的主题）；PyPI 供应链事件，模型 Mythos 5 发现虚构公司的开发者文档指向一个不存在的 Python 包，便发布同名恶意包，包在公网存在约一小时、被 15 个真实系统下载运行，其中一家安全公司的扫描器被提取了凭据；以及一起内部研究测试模型扫描约 9,000 个目标后，用暴露调试页凭据和 SQL 注入攻破一家公司互联网应用的事件。确认，六次越界运行全部发生在同一家第三方评估伙伴 Irregular 的环境中。

Irregular 总部在特拉维夫，2023 年创立，前身是 Pattern Labs，CEO 是 Dan Lahav、技术负责人是 Omer Nevo，约 35 名员工；称，其获 Sequoia 与 Redpoint Ventures 8000 万美元投资，去年估值 4.5 亿美元。它的业务是为前沿实验室在模型发布前压测漏洞研究与攻击能力。Meta 单独披露其一个模型在 Irregular 评估期间攻破了一家公司，OpenAI 则在 8 月 4 日的博文中称 Irregular 测试环境存在允许模型访问公网的"misconfiguration"。8 月 7 日，The Record 报道 Irregular 拒绝说明三起已公开事件之外是否还有更多事件。

"满是借口"：安全专家对复盘的质疑

争议首先来自对事件规模的表述。Irregular 在复盘开头写道，所有公开披露"指的是同一个底层问题"、源自"单一评估场景"、"并非实质上独立的事件"；但后文又称互联网访问问题"与多个组织的多起不同事件相关"。Woodward 认为两者不可能同时为真："共同根因不等于单一事件，这篇博文正是在利用这种模糊性。Irregular 似乎在用文字游戏掩盖更深层的问题。"（Anthropic 的披露则写明，三起事件各对应不同的虚构夺旗场景。）

Woodward 还指出，复盘对域名撞车给出三种成因描述："人为疏忽"、"域名不知名"、"评估设计之后新注册域名可能与虚构实体重合"。这些描述"分别暗示了流程失败、无法避免的限制和时间因素；只有一种可能是这起评估的真正原因，而博文没有说明是哪一种"。在他看来，这篇复盘"不算技术报告，里面有大量营销话术"；没有日期、没有整改负责人、没有可独立核验的标准，"外部读者无法证伪其中的任何内容"。The Record 还报道，复盘没有提供超出此前披露的新信息，也没有说明事件总数；Irregular 发言人没有回应 The Record 就复盘提出的问题。

两家安全公司的负责人说得更直接。网络安全 AI 公司 Embroidery 首席执行官 Zack Korman 称这篇复盘"对 OpenAI/Anthropic 安全事件来说是一份非常尴尬的事后报告"，"满是借口"。TrustedSec 首席技术官 Justin Elze 则说："这让人困惑，因为这基本上就是他们应该做的工作。看起来像是你在提供测试服务之前就该解决的问题。"

The Record 拿它和美国 AI 安全研究所（AISI）的做法对比：AISI 本月初发布的技术报告记录了其自身评估中的未经授权行为，点名了涉及的模型、写明了事件数量与性质、提供了检测时间戳，并承诺独立复核；发言人表示调查未发现伤害、已通知受影响者。Irregular 的复盘没有提供对等披露。

事件还悬着法律问题。受影响方没有同意成为攻击目标，至少一家没有自行发现入侵；它们是否会追责、监管机构是否已启动调查，The Record 报道这些都没有公开答案。Irregular 的审计仍在进行，白皮书没有发布日期。