AREX Feed Article
Artificial Analysis 独立评测 Claude Sonnet 5.5:智能指数 56 位列第二,max 档每任务成本比 Sonnet 5 高约 50%
9 月 28 日,独立评测机构 Artificial Analysis(以下简称 AA)公布了对 Claude Sonnet 5.5 的评测结果:在该机构的 Intelligence Index 上,Sonnet 5.5 在最高推理强度档位(max effort)得 56 分、位列第二,落后 Opus 5.5(max)2 分;但这一档位下每个任务平均输出约 193,000 个 token,平均成本 7.60 美元,比 Sonnet 5 的每任务成本高约 50%()。
Sonnet 5.5 是 Claude 5.5 家族的第二个模型,于 9 月 28 日发布(),发布当天即在 Amazon Web Services、Google Cloud 和 Microsoft Azure 上线;Anthropic 称其输出速度比 Sonnet 5 快 30% 以上,在自家测试中多数工作的每任务成本最多低 30%()。
独立跑分:Agentic 任务反超 Opus 5.5,知识类评测仍落后
AA 的评测文章给出更多细节:Sonnet 5.5(max)在 Intelligence Index 上比 Sonnet 5(max)高 18 分,在 Terminal-Bench-Science 上得 53%,仅次于 GPT-6 Astra 与 Opus 5.5()。
Agentic(智能体)终端任务是反超 Opus 5.5 最明显的一类:Terminal-Bench 4.0 上,AA 测得 Sonnet 5.5 为 64%,高于其同环境下的 Opus 5.5 与 GPT-6 Astra(均为 60%);Anthropic 自评的同一项分数更高,Sonnet 5.5 为 70.6%、Opus 5.5 为 66.4%。两家在各自设置下都得出同一结论:这项测试上 Sonnet 5.5 高于 Opus 5.5。
在知识工作类基准上,Sonnet 5.5 与 Opus 5.5 接近:AA-Briefcase 1,811 对 1,822 Elo、GDPval-AA 1,844 对 1,846 Elo、AutomationBench-AA 71% 对 70%。AA 指出,Sonnet 5.5 达到这一水平用了明显更多的 token。
知识类则是短板:AA-Omniscience 的事实准确率 54%,Opus 5.5 为 66%(Sonnet 5.5 的幻觉率更低,47% 对 59%);Humanity's Last Exam 与 SciCode 上落后约 6 分。
单价没变:输出 token 用量推高了每任务成本
Sonnet 5.5 的 token 单价与 Sonnet 5 相同:输入每百万 token 2 美元、输出每百万 token 10 美元,缓存读取 0.20 美元、缓存写入 2.50 美元。变化出在用量上:AA 测得 max 档每个 Intelligence Index 任务平均输出约 193,000 个 token,是它测量过的最高值,比 Opus 5.5(max)和 Sonnet 5(max)都高出约 60%,约为 GPT-6 Astra(max)的 7 倍。
这个用量推高了每任务成本:7.60 美元,比 Sonnet 5(max)的 5.09 美元高约 50%。整套 Intelligence Index 评测中,Sonnet 5.5(max)共生成约 4.1 亿个输出 token,同价位推理模型的中位数约为 8,800 万(、)。
Anthropic 官方的说法则是:Sonnet 5.5 完成同样的工作通常需要更少的 token,因此更便宜。VentureBeat 报道称,官方把成本下降主要归因于更少的 token 和更少的工具调用(tool calls),而不是单价下调;该媒体还称已向 Anthropic 询问速度提升的具体测量方式,会在收到回复后更新()。
AA 对这项定价的整体评价是:Sonnet 5.5 落在「智能对每任务成本」的 Pareto 前沿(最优权衡边界)之外;最竞争力的 high 档在智能上略微落后于 GPT-6 Sol、每任务成本几乎相同;更低档位上,GPT-6 Astra 或 Sol 能用更低成本达到等效性能。
成本随 effort 档位拉开:low 档 0.41 美元,默认 high 档 1.08 美元
AA 给出了五个 effort 档位的分档数据,每项为 Intelligence Index 分数与每任务成本:low 36 分、0.41 美元;medium 41 分、0.59 美元;high 47 分、1.08 美元;xhigh 52 分、2.74 美元;max 56 分、7.60 美元。最高档与最低档的每任务成本相差最多约 18 倍()。
Anthropic 的默认设置为:Claude API 与 Claude Platform 默认 high,Claude Code 和消费端应用默认 medium;其开发者指南建议从 high 起步、按工作负载评估后调整,若要用 xhigh 或 max,要考虑到模型会思考更久、花费更高,有些任务上会失去 Sonnet 系列质量、速度与成本的平衡,此时可以考虑 Opus 5.5()。
在默认的 high 档,AA 记录的每任务成本为 1.08 美元()。官方说「多数工作最多低 30%」,该数字出自 Anthropic 自家测试;AA 的每任务成本数据,则对应其 Intelligence Index 上 max 档的平均值。
跑在发布前版本上:结构化输出 bug、0.1% 回退与待重跑
AA 说明这批评测跑在 Sonnet 5.5 的发布前部署上。Anthropic 发现该部署有一个可能降低「结构化输出」类请求质量的 bug;公开版本已修复,Anthropic 预计影响很小,当前分数甚至可能略被低估。Anthropic 的发布页脚注也确认,AA 的 GDPval-AA 与 AA-Briefcase 正是在发布前部署上运行的()。
评测还启用了 Anthropic 的默认回退(fallback):在五个 effort 档上,AA 观察到整个 Intelligence Index 中约 0.1% 的任务发生回退,主要集中在 Terminal-Bench 4.0,且全部回退到 Sonnet 5。
Anthropic 在发布说明中交代了回退机制:官方称 Sonnet 5.5 的网络安全能力与 Opus 5 相当,是首个搭载与最强模型类似的网络安全保障和回退的 Sonnet 模型;常规软件开发不受影响,更高风险的网络安全请求会明显回退到 Sonnet 5。
AA 表示将尽快重跑相关评测;VentureBeat 则表示会在收到 Anthropic 对「快 30% 以上」测量方式的回复后更新。