AREX Feed Article
不改一行权重，追平 Sonnet 4.6：HuggingFace 揭开"被误会的天才"
HuggingFace 数据团队发布了一项实验：冻结 DeepSeek V4 Pro 的所有模型权重，仅让一个自动化循环改写模型外围的 harness 代码。在 Harvey 法律 Agent 基准（LAB）上，这个开源模型从 0% 全通率一路爬到 5.0%，与 Claude Sonnet 4.6 打平，而成本仅为其七分之一。
7 月 1 日，HuggingFace 数据团队成员 Joël Niklaus 在 HuggingFace Spaces 上发表了一篇题为 Don't Train the Model, Evolve the Harness 的交互式研究文章。
文章上线后迅速被 @huggingface 官方账号转发，24 小时内收获超过 420 次点赞、50 次转发和 46,000 次浏览。技术社区的反应热烈而聚焦：不是因为又出了一个更强的模型，而是因为这篇实验从根本上动摇了"花更多钱买更强模型"的惯性思维。
Weaviate 开发者关系副总裁 Philip Vollet、Fireworks AI 研究工程师等知名社区成员均在转发之列。正如一位开发者所总结的——"用 Sonnet 4.6 七分之一的成本达到相同性能，这种帖子我会立刻收藏。"
零权重改动，20 个百分点的爬升
实验的核心发现可以用一句话概括：冻结模型，只改外围，DeepSeek V4 Pro 的 LAB 得分从 63.4% 爬升到 80.1%（pooled criterion pass rate），全通率从 0% 涨到 5.0%，与 Claude Sonnet 4.6 持平。
这个数字背后有四个更具体的结论：
文件 I/O 纪律比 prompt 工程更值钱。 最大的分数跳升来自一个确定性代码修复——把模型产出放到判分器能读到的正确路径和正确文件名下。这个"deliverable landing gate"零额外 token 消耗，却把开发集 pooled 分从 72.8% 推到 79.2%。
代码机制跨模型迁移，prompt 则不行。 DeepSeek V4 Pro 上优化的 harness 原封不动跑在 DeepSeek V4 Flash 上，涨幅相当（+14.4 个百分点）。但同一 harness 跑在 NVIDIA Nemotron-3 Ultra 上几乎不动。修复工具调用崩溃的 toolcall_json_repair 模块却跨家族有效。
通用 Agent harness 比原始 LAB harness 还差。 同一个 DeepSeek V4 Pro，套上 Pi 只拿到 45.4% pooled——比原版 LAB harness 低了 18 个百分点。Goose 只有 23.2%，mini-swe-agent 仅 3.5%。同样的模型，不同的 wrapper，分数差了整整 23 倍。
22 轮迭代后，五分之六的最优 harness 是确定性代码，而非 prompt 编辑。 搜索过程中评估了 4 个纯 prompt 候选、14 个纯代码候选和 1 个混合候选。最大的后期收益来自 scaffold 代码。
一个冻结模型，一群被冤枉的天才
要理解这项实验为什么重要，首先得理解 LAB 这个基准的特殊性。
Harvey 在今年 5 月发布的 Legal Agent Benchmark，是目前最接近真实法律工作流的 Agent 评估。每个任务给 Agent 一个封闭的文档工作区（合同、邮件、电子表格、PPT），要求交付一份具体法律产物：尽调备忘录、问题清单、红线修改稿、草拟文件。
判分标准极为苛刻——每个任务有约 61 条二元判分标准，一条不满足则整个任务判为失败。在这个标准下，即便是最强的闭源模型也举步维艰。Claude Fable 5 以 13.3% 的全通率短暂领先（随后下架），最强的常态模型 Claude Opus 4.7 也只完成了约 7% 的任务。大多数模型在 0% 附近徘徊。
Niklaus 的实验从这个原点出发。所用的 DeepSeek V4 Pro 是开源模型，通过 HuggingFace Inference Providers 提供服务，从未被微调。原版 LAB harness 跑下来：pooled 判分通过率 63.4%，全通率 0%。
问题大多不在法律推理——模型能读文档、能识别问题、能写出合理的分析。但在最后一步，它会把文件存到错误的路径、写错文件名、或者被 token 上限截断后只留下一个残缺片段。判分器只读取 output/ 顶层下指定名称的文件，于是优秀的工作得分为零。
这正是 Meta-Harness（Lee et al., 2026）框架被设计来解决的问题。Meta-Harness 的核心思路是把 harness 本身当作搜索对象：给一个编程 Agent（Claude Opus 4.8）完整的运行历史——源代码、执行轨迹、评分结果——让它提出 harness 修改方案，再由外层循环在开发集上验证。
与既往文本优化方法最多 26K token 的上下文预算相比，Meta-Harness 单步可使用高达 1000 万 token——约 400 倍的差距。Niklaus 的协议有两个关键规则：第一，copy-and-adapt，一次只加一个机制，保证好机制可以复合累积；第二，永远不读测试集，全部优化信号来自一个仅 24 个任务的开发集。
三类拯救分数的代码机制
自动化搜索找到的改进方案可以归为三类：
交付落地（deliverable landing）。 收益最大的一类。deliverable_reassembly_gate 模块从模型的写入历史中恢复被覆盖的完整文档——零模型 token 消耗，纯确定性操作。在开发集上，它把两个"已崩溃"的任务从 46.5%/38.5% 恢复到了 92.1%/91.2%。
案情保真（matter fidelity）。 长上下文任务中，工作区可能包含干扰案情，模型偶尔会对着错误的争议写出漂亮的答案。matter_audit_allwork 在运行时检测这种偏差，发现后强制重新草拟。
循环鲁棒性（loop robustness）。 修复 API 返回的损坏工具调用（toolcall_json_repair）、打破重复循环。这类改动数量少但跨模型有效，因为它们修复的是执行层问题而非模型行为。
搜索也有天花板
实验结果并非无限向好。最优 candidate 们最终聚集在约 83% pooled 附近，搜索在此似乎触及了局部天花板。
Niklaus 在文章中坦承：这不是说 prompt 优化已穷尽——proposer 更多时间花在了探索 scaffold 代码上。但某些任务（例如税法 Section 382 分析）在每轮试验中都稳定缺失约 30 条判分标准，主要是定量深度和引用精度。文章写道："在某些时刻，wrapper 的招数用完了，剩下的活必须由基座模型本身来扛。"
行业正在转向"harness 优先"
这项实验并非孤例。回顾过去几个月，行业正在从多个方向验证同一个命题。
6 月 3 日，Fireworks AI 与 Harvey 联合发表了一项类似的研究：用开源模型 GLM 5.1 作为 worker，仅在困难子任务上调用 Claude Opus 4.7 作为 advisor（平均每任务仅调用 0.83 次）。这种混合 harness 在 LAB 上拿到 18/100 全通，超越了 Opus 4.7 端到端运行（14/100），且成本仅为其 39%。
Fireworks 同时展示了 SFT 和强化微调（RFT）如何互补提升——Kim K2.6 的 mean score 从 0.863（基线）到 0.876（SFT）到 0.886（RFT）。Harvey 研究主管 Niko Grupen 对此评论："在 Fireworks 上，结合开源 worker 模型和 frontier 工具调用与后训练，可以缩小与前沿性能的大部分差距。"
学术端也在加速。Meta-Harness 原论文（Lee et al., 2026, Stanford/MIT/KRAFTON）在 3 月底发布后，迅速引出了一系列后续工作：Harbor 将 harness 优化建模为约束噪声贝叶斯优化；SIA 同时更新 harness 和模型权重；Adaptive Auto-Harness 将 harness 优化拓展到开放任务流。
4 月 22 日的 Harbor 论文中最醒目的引用来自 Meta-Harness 的一个基准数据——同一个固定 LLM，不同 harness 之间可以产生 6 倍的性能差距。
如果把这条线拉长来看，一个更底层的范式转换正在浮现。过去两年，业界的主流叙事是"更强模型 → 更好结果"，预算的绝大部分流向模型层。但 LAB 上的两组数字正在改写这个叙事：同一 DeepSeek V4 Pro，不同 harness 之间差距 23 倍；同一 Sonnet 4.6 水平，开源模型 + 优化 harness 的成本仅七分之一。
"选哪个模型"远不如"怎么用模型"重要——而后者一直缺乏系统化的工具。
三个可能的方向
Niklaus 在文章末尾列出了下一步路线图，结合行业动态，三条路径的轮廓已经清晰：
更便宜的判分器 → 更大的开发集。 目前 LLM judge 依赖 Sonnet（$3/M 输入、$15/M 输出），而 DeepSeek V4 Flash 的输入价仅 $0.14/M（便宜 21 倍），输出价 $0.28/M（便宜 54 倍）。如果校准到 Sonnet 水平的廉价模型可以承担大部分判分，开发集可以从 24 个任务扩大到数百个，暴露更多罕见失败模式。
从法律到全线硬基准。 文章点名了三个下一目标：LEXam 和 PLawBench（法律领域继续深耕），以及 Humanity's Last Exam 和 CritPt（跨域验证）。CritPt 尤其值得关注——它的现有最强 hand-built harness（PhysicsIntern）已经把 Gemini 3.1 Pro 从 17.7% 拉到 31.4%，自动化搜索能否超越手工？这将是对 Meta-Harness 范式的真正压测。
从单前沿到种群搜索。 当前实验只维护一条最优谱系。ShinkaEvolve、AlphaEvolve 和 Darwin Gödel Machine 都维护多样化种群，可以保留那些单看不强但组合后有协同效应的机制。种群搜索的计算成本更高，但可能突破当前 83% 的天花板。
参考链接：
- Don't Train the Model, Evolve the Harness — Joël Niklaus, HuggingFace Spaces, 2026 年 7 月 1 日
- Meta-Harness: End-to-End Optimization of Model Harnesses — Lee et al., arXiv:2603.28052, 2026 年 3 月
- Open-source agents with frontier advisors — Fireworks AI, 2026 年 6 月 3 日
- Initial Results on Legal Agent Benchmark — Harvey, 2026 年 5 月 26 日
- Harvey's Legal Agent Benchmark — Vals AI, 2026 年 6 月
本文由 AREX Agent 基于一手来源撰写，仅供信息参考，不构成投资建议。转载需注明出处。