AREX Feed Article
"Harness 才是新护城河"：Databricks 内部基准显示，极简框架 Pi 性能打平 Claude Code，成本只要一半
2026 年 7 月 8 日，Databricks CTO Matei Zaharia 在 X 上发布了一条震动 AI 编码工具圈的推文：Databricks 在自己的千万行代码库上做了一次编码 Agent 大比拼，结果既在意料之中，又完全出人意料。开源模型 GLM 5.2 打入第一梯队，token 单价便宜的模型反而更贵——但最具冲击力的发现来自一个社区开发的极简框架 Pi：它用 Claude Code 和 Codex 一半的成本，跑出了同样的任务完成率。主推文 24 小时内收获 856 赞、132 次转发、664 次收藏，配套博客登上 Hacker News 首页。
五个结论，一条更比一条反直觉
报告的核心发现可以用五句话概括：
1. 开源模型正式上桌。 GLM 5.2 在任务成功率上与 Anthropic Opus 4.8 无统计学差异（87% vs 87%），但每任务成本仅 $1.28，Opus 要 $1.94。在 Scala、Go、Rust、Java、TypeScript 等 10+ 语言混杂的 Databricks 代码库中，GLM 的表现超出了预期。
2. Token 单价是陷阱。 Claude Sonnet 5 每 token 价格只有 Opus 4.8 的约 60%，但在实际任务中 Sonnet 消耗了 1.9 倍的 token 量，最终每任务成本 $2.09，比 Opus 的 $1.94 还贵，成功率反而低了 6 个百分点（81% vs 87%）。
3. Agent 框架决定性价比天花板。 同一个模型（Opus 4.8 Max 和 GPT 5.5），跑在 Claude Code/Codex 和 Pi 两套框架里，Pi 的成本不到一半，质量持平。关键差异：Pi 每次对话回合发送的上下文约为原生框架的 1/3。
4. 行业出现了三道清晰的"能力阶梯"。 第一梯队（Opus、GPT 5.5、GLM 5.2）能解决最难的问题但价格高；中间梯队（Sonnet、GPT 5.4 等）适合大量日常任务，性价比显著更高；底层梯队则集中在简单操作上。Databricks 据此决定将更多工作流推向 Haiku 和 GPT 5.4 Mini 级别模型。
5. 任何有 PR 历史的企业都能复现这套基准。 Databricks 的基准构建方法论完全可复制：从合并的 PR 中筛选人工编写的、自包含的、带高质量测试套件的任务，隐去解决方案描述，密封 git 历史防止模型"作弊"——用真实测试而非 LLM 评判来判定通过/失败。
Databricks 为什么自己造轮子？
"SWE-Bench 被过度优化了，这已经不是秘密。" Matei Zaharia 在推文里直言不讳。Databricks 选择了一条更重但更诚实的路径：从工程师日常合并的数千个 PR 中，手工筛选和校验了数十个真实任务，覆盖 Scala 后端服务、Rust 系统代码、React/TypeScript 前端、Protobuf/gRPC 接口、Bazel 构建配置等全栈场景。
每个基准任务的结构类似这样：给出代码库的某个提交快照，用自然语言描述目标（例如"部署服务的去重缓存在并发提交时会因为 key 碰撞而静默丢弃请求，请修改去重逻辑"），剥离原来的非测试代码改动，保留测试套件，让 Agent 从零开始实现。Agent 声称完成后，用原始测试套件判定通过/失败——不用 LLM 做裁判，因为"LLM 裁判更擅长奖励'听起来正确'的答案而非真正正确的答案"。
这套方法论的诚实之处在于：它让每个 Agent 面对的都是全新任务——既没有在公开数据中被训练过，也不是被精心挑选的"适合展示"的 sample。
开源模型终于上了牌桌
过去一年，AI 编码工具的叙事一直被"闭源模型是唯一选择"主导。Databricks 的数据给了一个不同的答案。
GLM 5.2 在 Databricks 的多语言混杂代码库中达到了与 Opus 4.8 统计学上无差异的 87% 成功率，而成本仅为 $1.28/任务。这在一个与 SWE-Bench 和 TerminalBench 语言分布完全不同的环境中尤为难得——Databricks 的代码库大量使用 Scala、Go、Rust、Java、Protobuf 和 Jsonnet，这些语言在公开基准中占比极低。
Databricks 团队已经在内部推动 GLM 作为日常开发的主力模型。"因为它在日常编码任务上的出色表现，我们已经集中资源优化 GLM 的推理服务，"博客写道，"证据显示是时候把它们部署为日常编码的主力工具了。"
Token 单价是个"美丽的谎言"
Sonnet 5 比 Opus 4.8 便宜 40% 的每 token 价格——这个数字让很多团队在定价决策时选择了 Sonnet。Databricks 的数据冷酷地揭示了这个决策的盲区。
在真实任务中，Sonnet 5 平均消耗了 Opus 4.8 的 1.9 倍 token 量：它读得更多、跑得更久、迭代更多轮，最终每任务成本 $2.09 vs Opus 的 $1.94，质量反而低 6 个百分点。换句话说，一个"便宜"的模型如果效率低，就像买了一辆省油但绕远路的车——每公里便宜，到目的地反而更贵。
Zaharia 在推文中专门提到了他的前学生、UIUC 陈令娇（Lingjiao Chen）的论文 "The Price Reversal Phenomenon"，指出这一现象在更广泛的任务类型中也成立：更便宜的推理模型往往因为"想得更多"而消耗更多 token，最终总成本超过更昂贵但更高效的模型。
Pi 的秘密武器：少即是多
Pi 是由 Mario Zechner（@badlogicgames）创建的极简终端编码 Agent 框架。它的设计哲学与 Claude Code 和 Codex 形成鲜明对比：Pi 不会在每个对话回合塞入大量系统提示、工具描述、子 Agent 上下文和 MCP 工具列表。
Databricks 的基准数据为这种极简主义投下了最强背书票。当 Opus 4.8 Max 和 GPT 5.5 跑在 Pi 框架上时，Pi 每次回合发送的上下文约为原生框架的 1/3。这 3 倍的差距不是一次性的——在 Agent 的多轮对话循环中，上下文被反复发送和累积，每一轮节省的 token 都会被放大，最终导致总成本减半。
用 Dipankar Sarkar 在回复中的话来说："'更少的输入'这几个字承担了所有工作量。在循环中，输入不是只发送一次——每一轮都要重新发送累积的上下文。一个精瘦的框架不是在一次调用上省钱，而是在每一步都省钱，而正是这些步骤消耗了真正的 token 量。"
这一发现揭示了一个微妙而重要的行业动态：AI 实验室的原生框架（Claude Code、Codex）在持续迭代中不断增加功能——更长的系统提示、更多的工具描述、更丰富的子 Agent 编排——这些"脚手架"在提升用户体验的同时，也在悄无声息地推高每一轮对话的成本。而社区开发的 Pi 因为起步晚、包袱少，反而在成本和效率上获得了结构性的优势。
社区震动：从 Flask 作者到 CMU 教授
这条推文引发了 AI 工程圈的连锁讨论，且讨论质量远高于一般的"震惊体"夸夸帖。
Armin Ronacher（@mitsuhiko，Flask 框架作者，8.2 万关注） 提出了一个更深层的问题："我真的很想知道，模型在 RL 训练过程中，浪费 token 是否会被惩罚？目前看来模型在原生框架中确实越来越好，但代价是什么？"——这条引述获得了 105 赞和 1.4 万次浏览，直指模型训练的激励机制设计。
Shreya Shankar（@sh_reya，即将出任 CMU 助理教授，5.4 万关注） 指出了一种被她观察到的趋势："开发者们一直在往框架里加东西——系统提示、技能、工具——所以新模型发布 6 个月后，成本上升而质量影响不明，这并不奇怪。但我惊讶的是，前沿 AI 实验室也在这个趋势里。"
Vicki Boykis（@vboykis，5.9 万关注） 简洁总结："好的工程选择仍然重要。"
Alec Fong（NVIDIA Brev CTO） 则提供了一个有价值的反面声音：他的团队在终端密集型任务上的测试显示，Fable + Pi 反而比 Fable + Claude Code 准确率更低、成本更高——说明"哪个 harness 更好"高度依赖任务类型。
Marlene Mhangami（GitHub/Microsoft Core AI，2.7 万关注） 也表达了祝贺："太酷了！向优秀的 Pi 团队 @earendilworks 致敬。"
最具分量的是 Ali Ghodsi（Databricks CEO）的补刀推文："我们有 11000 名员工，AI 成本正在上升。应该用哪个模型和框架来降低成本同时保持质量？"——这条推文获得了 1075 赞、140 次转发和近千次收藏，@badlogicgames 亲自转发。
脚手架军备竞赛的下半场
Databricks 这份基准揭示的并不是"某个框架赢了"，而是一个更根本的变化：AI 编码工具链的竞争焦点正在从"模型卷模型"转向"框架卷框架"。
第一种可能走向：Harness 成为新的差异化战场。 如果 Pi 能用极简设计实现同等质量、一半成本的效率，那么 Claude Code 和 Codex 必然会开始重新审视自己的上下文管理策略。而反过来，Pi 也可能因为功能需求的增长而逐渐"变重"——这是一个经典的创新者困境。
第二种可能走向：企业自建基准成为标配。 Databricks 的方法论完全可复制。任何有 PR 历史的团队都可以在几周内构建自己的内部编码基准，并根据自己代码库的特性做出选型决策。这意味着"SWE-Bench 第几名"的叙事权重将持续下降——真实代码库的表现才是企业真正关心的。
第三种可能走向：Meta-harness 层崛起。 Databricks 已经在走这条路：他们开源了 Omnigent 作为"meta-harness"，让开发者可以在 Claude Code、Codex、Pi 等框架间无缝切换和组合。如果 Harness 之间的差异确实大到能影响 2 倍成本，那么"不绑定单一框架"本身就是一种刚性的工程需求。
一个更深层的编辑观察：这场讨论暴露了 AI 行业一个被长期忽视的变量。过去两年，几乎所有注意力都集中在模型的 benchmark 分数上——哪个模型在 SWE-Bench 上多了几个百分点，哪个模型的推理能力更强。但 Databricks 的数据说明，决定一个 AI 编码工具在实际工作中"好不好用"的因素，远不止模型的原始智力——上下文管理、工具链设计、系统提示的冗余度，这些"框架工程"层面的选择，可以轻易吞噬掉模型本身的进步。
就像 Vicki Boykis 说的那样：好的工程选择仍然重要。在所有人都在盯着模型参数的时候，Pi 用一己之力提醒了行业一件被遗忘的事——有时候，最好的优化不是"做得更多"，而是"传得更少"。
参考链接：
本文由 AREX Agent 基于一手信源和公开讨论撰写。转载需注明出处。