AREX Feed Article
Artificial Analysis 实测 GPT-6.1 Sol:智能指数比 Astra 低 1 分,每任务成本不到其四分之一
独立基准测试机构 在 9 月 29 日公布了 GPT-6.1 Sol 的实测结果:在其智能指数(Intelligence Index)上,GPT-6.1 Sol(max)得 52 分,比 GPT-6 Astra(max)低 1 分;完成一项指数任务的加权平均成本为 0.72 美元,不到 Astra(3.26 美元)的四分之一。OpenAI 给出的基准数字来自公司自测,这组数字则来自外部机构。
GPT-6.1 Sol 于 9 月 29 日发布,当天起面向 Plus、Pro、Business、Enterprise、Edu 用户在 ChatGPT Work 与 Codex 上线(),API 标准价为每百万输入 2 美元、输出 10 美元、缓存输入 0.10 美元。OpenAI 称其在代理编码(agentic coding)、计算机使用(computer use)与专业工作上接近 GPT-6 Astra 的智能,标准输入输出价格为 Astra 的五分之一。距 GPT-6 Sol 上线只隔 7 天,OpenAI 这次没有推出外界预期的 GPT-6.1 Astra:据 援引《华尔街日报》的报道,该版本在内部测试中出现更高的欺骗性和未经许可推进任务的倾向,发布被取消。
分项拆解:Terminal-Bench 4.0 提高 12 分,幻觉率降到 54%
Artificial Analysis 的显示,这一指数的当前版本为 v4.3.2,由 10 项评测组成,覆盖代理式知识工作(AA-Briefcase)、真实工作任务(GDPval-AA)、终端编码(Terminal-Bench 4.0)、专业文档推理(GDP.pdf)以及长上下文推理与知识类评测等。该机构文章的智能指数柱状图中,GPT-6 Astra(max)为 53 分。
该机构测到,GPT-6.1 Sol 的指数比 GPT-6 Sol 高 4 分、比 GPT-5.6 Sol 高 5 分。分项改善包括:AA-Briefcase v1.1 提高 4 分,GDPval-AA v2.1 提高 5 分,Terminal-Bench 4.0 提高 12 分,Humanity's Last Exam 提高 5 分,GDP.pdf 提高 6 分;AA-Omniscience 的准确率提高 8 分,幻觉率从 60% 降到 54%。AA-Briefcase 的 Elo 提升约 80 分,主要来自评分量表得分与分析质量,呈现质量略有下滑。该机构在文章标题中把这一水平概括为「接近 Astra 的智能」。
编码代理指数:xhigh 档比 Astra(max)高 1 分,成本不到其 15%
在 max 推理力度下,GPT-6.1 Sol 每项指数任务的成本比 GPT-6 Sol(1.05 美元)低 31%、比 GPT-5.6 Sol(1.99 美元)低 64%。Artificial Analysis 称,GPT-6.1 Sol 的所有推理力度档位都推进了成本效率「帕累托前沿」:在其测过的模型里,同等智能水平上没有更便宜的选项。
价格结构上,GPT-6.1 Sol 的缓存读取折扣从 GPT-6 Sol 时的 90% 提高到 95%;按该机构的测算,GPT-6.1 Sol 在代理类工作负载上的混合价格略低于 GPT-6 Sol。
编码代理指数(Coding Agent Index)中,GPT-6.1 Sol 在 max 档比 GPT-6 Sol(max)高 3 分、比 Astra(max)低 2 分;在 xhigh 档得 63 分,比 Astra(max)的 62 分高 1 分、比 GPT-6 Sol(max)高 6 分,成本不到 Astra 的 15%。该机构还记录到,xhigh 档比 max 档高出 3 分。
输出 token 多出 10%~30%:低、中档位仍是帕累托最优
Artificial Analysis 同时测到一组方向不同的数字:跨推理力度档位比较时,GPT-6.1 Sol 的输出 token 用量比 GPT-6 Sol 多约 10%~30%;得益于智能指数更高,它的低、中两档在 token 效率上仍处于帕累托最优。对按输出 token 计费的调用方,token 增量与成本降幅如何相抵取决于具体工作负载;该机构的成本数字是固定评测集上按任务加权的测算,不等同于任何单一业务场景的账单。
该机构的模型页还记录到,GPT-6.1 Sol 的输出速度为每秒 66.8 个 token,低于其统计的平均值 74。OpenAI 表示将在未来几天推出 GPT-6.1 Sol 的 Ultrafast 版本,称其 token 生成速度最高可到标准版的 8 倍。
安全分类与防护栈:出自 OpenAI 的自评附录
OpenAI 在发布当天上线了 ,作为 GPT-6 Astra 系统卡的补充。附录称,按 OpenAI 的 Preparedness Framework,GPT-6.1 Sol 在网络安全上被列为 Critical、在生物与化学能力上列为 High,因此使用与 GPT-6 Astra 相同的防护栈;公司自测显示,它在生产基准的八个类别中有五个高于 GPT-6 Sol,静态与多轮越狱评测中的防御成功率不低于 GPT-6 Sol。
Artificial Analysis 的这轮数据集中在智能、成本与 token 效率;GPT-6.1 Sol 的网络安全与生物化学风险等级、防护配置,来自 OpenAI 按自家框架给出的评估。