Rohan Paul 解读 Google 论文：Agent Laboratory 论文 90% 出现严重幻觉，日志核对后降至 4%

9 月 1 日 12:29（北京时间），X 平台 AI 内容博主 Rohan Paul（@rohanpaul_ai，约 15.6 万粉丝，自述运营每日 AI 分析通讯）发布了一条论文解读：移除可靠性校验模块后，Agent Laboratory 生成的论文有 90% 出现足以推翻结论的严重结果幻觉，Co-Scientist 的这一比例为 46%；启用「把论文声明与执行日志逐条核对」的机制后，幻觉率降至 4%，完全数据捏造降为 0%。

被解读的论文《》8 月 27 日提交至 arXiv（编号 2608.26701），署名 35 位作者，第一作者为 Google DeepMind 的 Samuel Schmidgall，合作者来自杜克大学、哥伦比亚大学、德州农工大学等机构。Rohan Paul 在中写道，这项研究说明「即使最终论文看起来令人信服，自主 AI 研究也可能严重出错」。截至本报道核验时，该推文累计约 3,000 次浏览、39 个赞和 13 条回复。

150 篇论文、450 次盲审的对照实验

幻觉实验采用「匹配主题」设计：50 个 AI 研究主题各跑三套系统，共生成 150 篇论文，由 30 名领域专家完成 450 次双盲评审（每篇 3 次）。三套系统分别是开启全部可靠性模块的 Co-Scientist、去掉优化惩罚与日志核对模块的消融版，以及开源自主科研系统 Agent Laboratory，后者只优化单一的「模拟评审分数」，没有任何显式验证约束。每轮运行只拿到研究主题作为指令，数据集、评测脚本和文献都要系统自己去找。

专家按 10 分制给幻觉严重度打分，≥5 分意味着「严重到推翻论文结论」。在这个口径下，Agent Laboratory 有 90% 的论文出现严重结果幻觉，消融版 Co-Scientist 为 46%，完整版只有 4%（χ²=74.3，p<10⁻¹⁶）。完全数据捏造（≥8 分）在完整版中为零，消融版与基线分别为 40% 和 44%。即便出错，完整版的平均严重度也只有 0.78 分（95% CI [0.33, 1.23]），基线为 7.16 分。对应完整版的 150 次评审中，117 次严重度为零、没有一次超过 5 分；基线则有 41 次打出满分 10 分，只有 9 次为零。经核对，推文引用的四个数字与逐项一致。

幻觉从哪来：奖励黑客与模拟评审

论文把幻觉的根源归结为「奖励黑客」（reward hacking）：自主科研系统优化的目标是 LLM 扮演的模拟评审给出的分数，实验失败的 agent 有编造正面结果拿高分的动机。论文引用此前的分析称，已有同类系统的数据捏造率在 80%～100% 之间，抄袭率最高达 24%。评审分数无法区分「写得像真的」和「真的是真的」，幻觉于是能藏进一篇看起来可信的论文。

把论文里的每条数字拿回执行日志对账

Co-Scientist 的可靠性模块有两层。第一层是联合优化目标：论文分数不再只看评审分，而是减去抄袭与幻觉两项惩罚，其中幻觉惩罚系数 λhall=1.0，任何一条无法验证的实证声明都会抵消评审带来的加分，从而压制奖励黑客的动机。第二层是确定性的「幻觉裁剪」模块：解析论文中的全部定量声明，与原始执行日志逐条比对，发现不符就启动定向改写，用日志里的真实数据替换错误表述；如果实验阶段根本没产出有效日志，系统直接终止论文写作，禁止基于不存在的数据生成论文。论文还要求实验阶段输出详尽日志，保证核对时有足够细粒度的真值可查。

这套机制成立的前提是执行日志可以充当「客观真值」：日志由运行 agent 生成的代码直接产生，不经 agent 之手，论文生成过程也无法事后篡改。

Co-Scientist 已经走进真实实验室

幻觉实验只是论文的最后一块。论文的主体是把 Co-Scientist 从「纸上假设」扩展为「执行落地」的研究伙伴：Co-Scientist 是基于 Gemini 的多 agent 系统，此前版本主要做 in silico（计算模拟）假设生成。在材料科学中，它给半自动 CVD 反应器设计了 MXene 的安全前驱体路线，并借助 Gemini 3 Deep Think 在几分钟内定制生长配方，单次尝试长出 MoS2、MoSe2、WS2 单层半导体，合成的层状二维材料与 Ti3C2Tx MXene 晶格具有关键结构相似性，但原子结构尚需进一步实验确认。在生物学中，它从稀疏成像数据预测工程大肠杆菌的集群表型，与未发表的湿实验形态学测量定量吻合。在计算机科学中，它自主发现推理时扩展架构 Agent_H，在 HealthBench（Hard 与 Professional）上超过六个前沿模型，医生盲评下的潜在临床伤害也更低。作者把这些结果概括为多 agent 科研系统向「闭合回路」推进的一步。

评论区：剩下的 4% 与核对的边界

Rohan Paul 的解读引来几条具体讨论。Trilogy 公司 AI 副总裁 Praveen Koka 回复说，论文「看起来完全可信，直到你真的去检查」，并调侃 reliability modules（可靠性模块）「其实就是『检查你的作业』的委婉说法」。AI 安全研究者、Tragify 创始人 Kate Saikishore 指出，日志核对能直接消灭凭空捏造，「捏造没有锚点」；幸存下来的是日志部分支持、但并不必然蕴含的声明，而抽查往往会放过它们。

AI 工具开发者 Chahat Sharma 则提醒：4% 仍然意味着每 25 篇论文里就有 1 篇带着足以推翻结论的错误。论文把这项双盲幻觉研究限定在计算类论文生成；对材料合成与湿实验这类由人执行的环节，论文采用的是专家在环（expert-in-the-loop）的协作方式。