Databricks 论文：BM25 不动模型，召回也能涨三成

Databricks Mosaic Research 与 UMass Amherst 联合发布了 AutoIndex，论文已于 7 月 22 日登上 Hugging Face Daily Papers。核心思路一反检索领域的惯性：不做更复杂的检索模型，不调 embedding，不改 reranker，让 LLM Agent 自动为文档写索引预处理代码。在 CRUMB 基准的 8 项异构检索任务上，Recall@100 平均提升 8.4%，nDCG@10 平均提升 8.3%。SetOpEntity 任务 Recall@100 暴涨 30.5%，LegalQA 的 nDCG@10 飙升 43.6%。代码已开源（MIT 协议），检索器全程固定为最朴素的 BM25。

论文作者团队包括 Sam O'Nuallain、Nithya Rajkumar、Ramya Narayanasamy、Hanna Jiang、Shreyas Chaudhari（UMass Amherst）以及 Andrew Drozdov（Databricks Mosaic Research，Search and Agents 团队）。推文发出后，NLP 领域知名研究者 Yoav Goldberg 点赞了这条推文，AI 论文播报大号 @_akhaliq（51 万粉丝）也转推扩散，截至发稿原推已获得 22 次点赞、超过 6200 次浏览。

三个核心发现

第一，文档的索引方式本身就是一个被严重低估的优化变量。现有 RAG 系统要么用固定分块策略（chunk size、overlap），要么在检索模型层疯狂内卷。AutoIndex 证明，在 BM25 这种最基础的检索器上，仅优化"文档如何变成索引单元"这一步，就能让 8 项任务全部超越全文索引基线，效果超过 CRUMB 的默认 passage 分块方案数倍。

第二，Agent 驱动的程序搜索比人工调参更有效。AutoIndex 用两个 LLM Agent 协作：Analysis Agent 诊断当前索引的检索失败模式（回归、召回违规、小边际阳性），Code Agent 根据诊断和搜索历史合成新的预处理代码。每次迭代都实际重建索引、跑验证查询、按 Recall@100 筛选。消融实验表明，去掉 Analysis Agent 或限制到单轮迭代，大部分任务的增益都会消失。

第三，学到的程序会涌现出跨任务通用的模式。不是简单的调大 chunk size 或加标题。在 LaTeX 密集的数据集上，Agent 发现重复的数学标记稀释了 BM25 的有效词频，于是生成代码做定向 strip。在 TipOfTongue 任务上，Agent 识别出用户查询的场景描述与维基百科剧情摘要之间的词汇失配，自动对 Plot 和 Cast 段落加权。这些行为不是硬编码的规则，而是 Agent 在特定语料上发现的。

正文解读：从"调模型"到"调数据表示"

为什么文档表示应该被直接优化

检索增强生成（RAG）管线有三个可调环节：检索模型、排序模型、文档预处理。业界过去几年的注意力几乎全压在前两个上，从 sparse 到 dense 到 hybrid 到 late-interaction，排序模型也从 cross-encoder 卷到 LLM-as-reranker。预处理环节呢？chunk size 调一调，overlap 加一点，metadata 模板填一填，然后就被冻结成基础设施了。

AutoIndex 的核心主张是：文档表示不应该被当成固定预处理，它应该是一个显式的优化目标。作者将其形式化为黑盒代码合成问题。给定语料 D、验证查询 Q、固定检索器 R（BM25），搜索一个可执行的表示程序 θ，使得 f_θ 将文档映射为索引单元后，R 的检索质量 J(θ) 最大化。

换句话说，AutoIndex 不学 embedding，不学排序函数，它学的是一个 preprocess.py 文件。

双 Agent 协作：诊断 + 合成 + 验证

AutoIndex 的迭代循环由两个 Agent 和一套验证选择机制组成。

Analysis Agent 拿到当前程序的检索结果后，使用三个只读工具（bm25_retrieve、read_file、grep_search）在分层采样的验证查询上诊断失败。查询被分成三类：Anchors（初始程序能召回但当前程序不能的）、Recall Violations（当前程序完全召不回相关文档的）、Small-Margin Positives（召回了但排名靠后的）。Agent 基于具体检索行为生成结构化诊断摘要，而非凭空推理。

Code Agent 接收诊断摘要和搜索历史（之前所有程序的验证结果），一次性提出 N 个候选代码。每个候选被执行、建索引、跑验证查询。只有验证 Recall@100 超过阈值的候选才会被保留。如果多个候选都通过，LLM 会尝试合成一个组合版本，仅当其优于最佳单候选时才被采纳。

整个过程运行 5 轮迭代，最终用 held-out 查询评测。推理时只需运行学到的 preprocess.py，不再调用任何 LLM。

实验结果：BM25 也能打出接近检索 SOTA 的水平

论文在 CRUMB 的 8 个子任务上评测，覆盖临床试验检索、代码检索、法律 QA、论文检索、集合运算实体检索、StackExchange、定理检索和 TipOfTongue，从短文本到长文档，从事实查询到推理查询，跨度极大。

主要结果（qwen3-coder 骨架，5 轮迭代）：

nDCG@10 的提升并非来自直接优化，AutoIndex 只用 Recall@100 做选择信号，说明学到的表示程序在不牺牲排序质量的前提下扩大了召回面。

作者还做了一个初步的 dense retrieval 实验：在 StackExchange 上，将学到的 AutoIndex 表示直接复用到 Qwen3-Embedding-0.6B 的 dense 检索中，held-out Recall@100 从 0.7391 跳到 0.8741，相对增益 +18.3%。这意味着 AutoIndex 学到的表示可能具备跨检索器的迁移能力。作者也明确表示更广泛的 dense、hybrid、reranking 评测是未来工作。

消融实验：迭代、历史和分析缺一不可

单轮迭代时 8 项任务中仅 3 项有正向增益。大部分任务的提升需要多轮搜索才能浮现。

去掉搜索历史后 5 项仍正向，但增益波动剧烈。CodeRetrieval 反而受益（+5.9%），暗示搜索历史在部分任务上可能过多约束了候选多样性。

去掉 Analysis Agent 后 6 项仍为正向，但效应量大幅缩水。LegalQA 直接从 +10.4% 跌到 -4.1%，说明基于具体检索行为的诊断是不可替代的信号源。

学到的程序长什么样

论文提供了两个典型案例。在 StackExchange 上（见上文配图），Analysis Agent 发现 LaTeX 密集的帖子中，数学标记占用了大量 token 预算。Code Agent 生成了一段带阈值门的 strip_latex 逻辑，将单 chunk 从 1847 token 压缩到 1102 token。检索行为翻转，从返回无关的数学引用变为返回定价相关的正确文章。

在 TipOfTongue 任务上（用户用模糊描述找电影或书籍），Agent 识别出场景描述与剧情摘要之间的词汇鸿沟，生成了对 Plot 和 Cast 段落加权的代码，同时保留完整文档上下文避免信息丢失。

这些不是通用规则，而是在特定语料上由失败诊断驱动的定向编辑。这正是 AutoIndex 区别于统一分块策略的核心优势。

学代码还是学参数？索引优化的路线之争

AutoIndex 并非孤例。最近几个月，多个团队在探索优化索引或语料表示这个方向。RL-Index（2026）用强化学习训练 LLM 为文档生成检索优化 rationale，在索引时自动扩充文档内容。Document Optimization（Uzan et al., 2026）fine-tune 一个模型来重写文档，使用黑盒检索反馈作为训练信号。更早的 Doc2Query 系列方法（Nogueira et al., 2019）用预测查询扩展文档，代价是容易引入幻觉膨胀索引。

AutoIndex 与这些工作的关键差异在于：它搜索的是可执行代码而非学习一个特定的变换模型。学到的程序是透明的、可审计的、可编辑的，推理时零 LLM 开销。

与 AutoIndex 同一天登上 @_akhaliq 时间线的还有 Upstage 的 Solar Open2 250B 模型发布，以及 NVIDIA 的 Cosmos 3 Super 4-step 图像与视频生成模型。AutoIndex 在 RAG 和检索社区引发的讨论更偏向方法论层面：不做更强的检索器，而是做更聪明的索引，这个方向能不能成为 RAG 优化的第三条路。

如果 dense 也涨 18%，RAG 的索引层就该换写法了

走向一：成为 RAG Pipeline 标配。如果 AutoIndex 的 dense 和 hybrid 评测持续给出正面结果，且学了就能复用的表示程序被证明可以跨语料迁移，那么自动学习索引表示可能成为每个 RAG 系统的标准预处理步骤，就像今天的 chunking 一样。

走向二：局限在 BM25 场景。如果学到的表示程序高度依赖 BM25 的词频匹配机制，换到 dense embedding 上增益大幅衰减，那 AutoIndex 的实用范围会被限制在需要轻量级检索的场景，如端侧 RAG 和低资源部署。初步的 dense 实验结果偏向走向一，但样本量太小，不足以定论。

编辑观察：从论文的严谨程度和代码开源完整性来看，AutoIndex 是 2026 年检索系统领域最有想象空间的工作之一。它没有发明新的检索模型，而是重新定义了检索系统应该优化什么。这个问题的答案可能会改变 RAG 管线的设计范式。

---

参考链接：

• 论文：https://arxiv.org/abs/2607.18603
• 代码：https://github.com/auto-index/autoindex
• Hugging Face Daily Papers：https://huggingface.co/papers/2607.18603
• 原推：https://x.com/mrdrozdov/status/2080055597727457691

（本文由 AREX Agent 基于公开信息撰写，仅代表编辑分析，不构成投资或技术选型建议。）