AREXOpen in interactive Feed

AREX Feed Article

Artificial Analysis 实测 Devin Fusion:68.1 分,每任务成本比 Opus 5.5 版 Claude Code 低 31%

October 21, 2026

指数发布方 Artificial Analysis 于 2026 年 10 月 21 日 05:10 UTC 了自己执行的 Devin Fusion 测试结果:被测对象是 Cognition 的 Devin Fusion CLI,主力模型 Claude Opus 5.5 (max)、辅助模型 GPT-6 Luna (high),在 Artificial Analysis Coding Agent Index 上得 68.1 分。

这个分数排在同榜 Claude Code 配 Claude Sonnet 5.5 (max) 的 68.4 分之后,比 Muse Code 配 Muse Wonder Full (max) 的 68.0 分高 0.1。与同样以 Opus 5.5 为主力的 Claude Code(66.0 分)相比,它每任务成本 $9.01 对 $13.04,平均耗时 55 分钟对 65 分钟。

按帖文描述,Fusion 让一个前沿 lead(主力)模型与一个更低成本的 sidekick(辅助)模型并行工作,两者各有独立的上下文和工具,lead 保留规划、委派与最终审阅。AA 写明,这一成绩反映的是两个模型合作的结果,成本也把两个模型的 API 开销算在一起。

Cognition 在里给出的分工示意,AA 测试的正是这种 lead 加 sidekick 的并行结构。

0.4 分区间里的三组配置

帖文开头说这一配置「得 68 分」,比 Opus 5.5 版 Claude Code 高 2 分、每任务成本低 31%;正文随后给出的数字是 68.1。两个数字的参照物不同:相对 66.0 分的基线上浮 2.1 分,相对 68.4 分的 Sonnet 5.5 配置则低 0.3 分。帖文把这三组描述为在榜首紧咬,最高与最低之间只隔 0.4 分。

X 用户 在 AA 发帖约两小时后引用这组数字,称 Claude Code 里的 Sonnet 5.5(max)以 68.4 比 68.1「压过」Devin Fusion;他把 Sonnet 5.5 称为 Anthropic「更小」的模型,认为它单打独斗就追上了两模型的前沿组合。这是单个用户的评价,不是评测结论。

三项等权,终端任务的失分被另外两项盖过

AA 的写明,当前标注为 v1.5 的指数由三项基准等权合成:Datacurve 的 DeepSWE v1.1(113 项任务)、Laude Institute 的 Terminal-Bench 4.0(66 项任务)和 Scale AI 的 SWE-Atlas-QnA(124 项任务)。每项基准对每个任务做三次尝试,取 pass@1(单次尝试通过率)的平均。

按帖文给出的分项复算,Devin Fusion 在 DeepSWE v1.1 得 72.6%、SWE-Atlas-QnA 得 69.6%、Terminal-Bench 4.0 得 62.1%,三项算术平均正好是 68.1。作为对照的 Opus 5.5 版 Claude Code 分别是 68.4%、66.4%、63.1%,平均 65.97,四舍五入即 66.0。Fusion 在终端任务上低 1.0 个百分点,靠另外两项分别高出 4.2 和 3.2 个百分点拉回,净差 2.1 分。

指标Devin Fusion(Opus 5.5 max + GPT-6 Luna high)Claude Code(Opus 5.5 max)
Coding Agent Index68.166.0
DeepSWE v1.172.6%68.4%
Terminal-Bench 4.062.1%63.1%
SWE-Atlas-QnA69.6%66.4%
每任务 API 成本$9.01$13.04
每任务平均耗时55 分钟65 分钟

AA 的在同一配置行给出取整后的 68 分、DeepSWE v1.1 73%、Terminal-Bench 4.0 63%、SWE-Atlas-QnA 69%、每任务 55.0 分钟,与帖文的分项对得上;成本一栏写的是 $9.02,比帖文多 1 美分。这些分数由 AA 自己执行、按自家指数口径合成,属于单一评测方的结果。

$9.01 里算进了两个模型的 API 开销

帖文注明,列出的成本是按 token 计费的 API 成本,不是订阅价格。以 Opus 5.5 版 Claude Code 的 $13.04 为分母,$9.01 低 30.9%,帖文取整写作 31%。

省下来的钱出自哪一侧,帖文没有交代。它没有给出两个模型各自的费用,也没有给出各自的 token 用量;对比页的这一配置行给出每任务 12.9M token 的总用量。在两个模型并行、各自带上下文的情况下,成本优势究竟来自主力模型少干活、辅助模型单价更低,还是两者兼有,这组数字回答不了。

换一组搭档,分数相差 9.1 分

68.1 只对应一种搭配。AA 对比页上,Devin Fusion CLI 换用 Claude Fable 5.1 XHigh 加 SWE-2 Medium 得 62 分、每任务 $7.90;换用 GPT-6 Astra XHigh 加 SWE-2 Medium 得 59 分、每任务 $4.54。同一套 harness(智能体框架)内,主力与辅助模型的选择把分数拉开了 9.1 分,$9.01 约为 $4.54 的两倍。

帖文给出的是三项基准各三次尝试的平均值,没有多次运行之间的分布。0.3 分和 0.1 分的差距是否超出运行波动,需要这组分布数据才能判断。

参考链接

More from this developing story

  • Cognition 称 Devin Fusion 在 Coding Agent Index 得 68 分,成本比 Claude Code(Opus 5.5)低 31%Oct 20, 2026
  • Artificial Analysis 实测 Devin Fusion:68.1 分,每任务成本比 Opus 5.5 版 Claude Code 低 31%Oct 21, 2026