AREX Feed Article
Artificial Analysis 发布企业网络防御评测指数 Cyber Index：Grok 4.7 与小米 MiMo-V2.6-Pro 以 56 分并列榜首
Artificial Analysis（简称 AA）9 月 28 日通过宣布推出面向企业网络防御的评测指数 Cyber Index（全称 Artificial Analysis Cyber Index），并联合 Collinear AI、IBM、NVIDIA 与 Vercel 组建 Cyber Index Alliance。首批成绩中，Grok 4.7（xhigh）与小米的开源权重模型 MiMo-V2.6-Pro 同得 56 分、并列榜首，GPT-6 Luna（max）以 53 分排在第三，GLM-5.3-Flash 得 50 分，Muse Spark 1.3（xhigh）得 44 分。
公告称，GPT-6 Sol（max）、GPT-6 Astra（max）、Claude Opus 5.5（max with fallback）、Claude Fable 5.1（max with fallback）与 Gemini 3.8 Flash（high）虽具备前沿的 agentic coding（智能体式编程）能力，却以安全理由拒答了相当于整个指数 32%～38% 的任务，总分落后榜首 19～31 分，且差距主要集中在 CyberGym-E2E-AA。
三项基准等权平均，每项 0～100 分
Cyber Index 是三项基准的等权平均：CWE-Bench-AA 的 pass@1（单次尝试通过率）、DeepsecBench-AA 的 F2（偏重召回率的指标，三次运行取中位数）、CyberGym-E2E-AA 的 pass@1，每项先折算到 0～100 分再平均，各占三分之一（、）。AA 称，随着模型的网络攻击能力增强，AI 实验室与企业都需要了解模型在防御任务上的表现。
三项基准分别覆盖防御闭环的一段。来自 Collinear AI 的 CWE-Bench-AA 有 120 个留出任务，覆盖 OWASP Top 10（2025）全部十类，涉及 C/C++、Go、Java、JavaScript/TypeScript、Python 与 Rust，要求审计真实开源仓库并把漏洞修好；来自 Vercel 的 DeepsecBench-AA 单独考「发现」，模型要在一段开源应用代码里找出漏洞，按人类评审确认的「金标」计分，真实发现得分、把良性代码标成漏洞会被扣分；来自 Berkeley RDI 的 CyberGym-E2E-AA 从 131 个 C/C++ 项目各取一个内存安全漏洞，要求定位、写出能触发崩溃的 PoC（概念验证输入），再修补到崩溃不复现、原有测试仍通过。
所有任务都跑在 AA 的开源 agent harness（智能体运行框架）Stirrup 上，同一项基准内所有模型使用相同的提示词与工具；DeepsecBench-AA 的判定由 GPT-5.6 Sol（high）充当 LLM judge（大模型评审）。方法页写明，该指数只测防御，模型从源码出发、像安全工程师一样审计，没有任何任务要求把漏洞变成可用的利用；事件响应、编译软件或运行中服务器这类无源码目标、以及「写新代码不引入漏洞」都不在覆盖范围内，AA 称计划后续补上这些缺口。Cyber Index 是独立指数，不并入 AA 的 Intelligence Index。
同分不同价：每任务 0.18 美元与 11.67 美元
AA 在同一线程中还公布了每任务成本：GPT-6 Luna（max）以 53 分对应 0.12 美元，是被测模型中成本最低的；MiMo-V2.6-Pro 用 0.18 美元拿到并列最高的 56 分；Grok 4.7（xhigh）同为 56 分，但每任务成本 11.67 美元；GLM-5.3-Flash 每任务 0.32 美元、得 50 分（）。AA 称这三个模型占据分数与成本的 Pareto（帕累托）前沿，而 GLM-5.3-Flash 是唯一进入它所说「最具吸引力象限」的其他模型。
并列榜首的 MiMo-V2.6-Pro 是小米 9 月 21 日发布的开源权重模型，采用 MIT 许可，在 AA 的 Intelligence Index 上得 46 分（）。
差距的来源：CyberGym-E2E-AA 上的拒答
按公告，GPT-6 Sol 与 GPT-6 Astra 在 CyberGym-E2E-AA 上每个任务都拒答，Claude Opus 5.5 拒答 98%，Claude Fable 5.1 拒答 99%。发布文章补充，Qwen3.8 2.4T A95B 与 Qwen3.8 27B 的拒答率也不低于 98%（）。方法页写明，模型或服务商以安全理由拒答的情况会被单独记录、与分数分开报告；在成本维度上，被拒答拖累的模型也处于昂贵的一端：GPT-6 Astra（max）得 33 分、每任务 4.98 美元，Claude Opus 5.5（max with fallback）得 29 分、每任务 9.75 美元，AA 说明被拒答任务的成本是按其他模型的 token 用量估算的。
联盟四家：谁贡献基准，谁提供方法学意见
发布文章列出四家发起伙伴的分工：Collinear AI 是 CWE-bench 的开发者，将 CWE-Bench-AA 作为私有留出评测贡献；Vercel 是 DeepsecBench 的开发者，以同样方式贡献 DeepsecBench-AA；IBM 与 NVIDIA 则就指数的范围与方法学提供专家意见。AA 说，联盟伙伴会为指数的设计与实现提供专家输入，也可能直接贡献数据集与外部研究，有意加入的机构可以联系 。
IBM 官方 X 账号在同一日的回复中写道：「为支持这项工作感到自豪。」（）
基准暴露的失败模式：修不彻底，或修错崩溃点
发布文章还给出了三项基准的失败模式。CWE-Bench-AA 上，排除拒答与超时后，55% 的失败尝试修好了主要问题却留下相关漏洞，例如第二个入口点；过度修改约占失败的 24%；在四个最高分模型中，过度修改占其失败的 40% 左右，而得分最低的一组模型约为 15%。被改坏的往往是合法的边缘功能。DeepsecBench-AA 上，成绩最好的模型也仅找到人类专家确认漏洞的 41%，需要顺着事件序列推理或考虑业务与隐私规则的漏洞很少被找到；模型报告这类依赖事件序列的漏洞时，95% 是正确的。CyberGym-E2E-AA 上，42% 的尝试在 90 分钟上限内没能给出可触发崩溃的输入；越依赖状态变化的漏洞越难：越界类通过率 50%，use-after-free（释放后使用）33%，整数与算术类 20%；在所有通过的尝试里，31% 的补丁修的是另一个真实的崩溃点，而不是目标漏洞。
AA 在方法页提醒，所有成绩都是它在自家 Stirrup harness 上的实现，与 Collinear AI、Vercel、Berkeley RDI 各自公布的榜单数字不可直接比较。另一个仍未解决的问题是拒答：AA 说，几个前沿模型在 CyberGym-E2E-AA 上拒答了绝大多数任务，这让它们在这项基准上的表现难以评估。