AREX Feed Article
EpiBench 首发评测:9 个通用 LLM 挑战抗体表位五阶段推理,长抗原召回率从 81 暴跌至 13
通用 LLM 在真正的序列推理任务上露了怯。
通用大模型在生物医药问答上屡屡刷榜,但回到抗体药物发现中最核心的问题——从抗原和抗体序列直接推断表位——它们的表现远不如想象中可靠。
2026 年 8 月 6 日,Valhalla Technology 与浙江大学联合团队在 arXiv 上发布 ,这是第一个专门评估通用 LLM 在抗体药物发现中表位推理能力的封闭式基准。论文在零样本设定下测试了 9 个主流通用大模型,覆盖从靶向区发现到逃逸评估的五个连续阶段,总计 1,609 个实验验证样本。核心结论直白:当前 LLM 能捕捉到粗粒度的表位信号,但在需要精确定位残基、关联特定抗体序列、或推断功能性后果时,表现与随机猜测差别不大。
图片来源:
论文信息
- 论文标题:EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?
- 论文链接:
- 数据开源:
- 核心成绩:Gemini-3-Flash 在靶向区发现任务上 RegionRecall@50(RegR@50)达 56.9,但 AUROC 仅 54.6(接近随机 50);GPT-5.5 在表位分箱上达 67.3% 准确率,为五任务中相对随机基线提升最大的单项;所有模型在长抗原(>800 氨基酸)上召回率骤降至 12.8。
五道关卡,串起抗体发现的全流程决策链
现有表位预测工具——无论是基于序列的 BepiPred-3.0 还是结构导向的 AsEP——都只解决单一预测目标:给定抗原,输出可能的表位残基。但真实的抗体药物发现远不止于此。团队要做一连串决策:哪些抗原区域值得优先关注?某个候选抗体具体结合到哪里?两个抗体是否靶向同一表位?结合位点是否具有功能意义(如中和、阻断)?某个点突变会不会让抗体失效?
EpiBench 将这一整套决策链拆成五个任务,且彼此衔接、逐级加码:
T1 靶向区发现(295 样本):只给抗原序列,要求模型从中挑出一组候选表位残基——模拟早期靶点评估,尚未拿到具体抗体。输出为残基集合,用 RegionRecall@50 和 AUROC 双指标评估。
T2 抗体条件表位识别(354 样本):同时输入抗原序列和抗体可变区序列,从四个候选表位中选出该抗体真正结合的那一个。四个选项均为该抗原上的真实表位或匹配合成区域,杜绝靠排除法猜测。
T3 表位分箱(260 样本):判断两个抗体是否结合抗原的重叠区域。阳性对来自结构上表位重叠的抗体,阴性对则在控制抗体序列相似度的前提下选取——防止模型仅凭 CDR 相似度走捷径。
T4 功能性表位评估(340 样本):给定抗原和一个候选表位,判断该表位是否与功能性抗体应答(中和、阻断、保护等)关联,而非仅显示结合证据。标签来自 IEDB 中经人工整理的 B 细胞功能实验数据。
T5 逃逸评估(360 样本):给定抗体序列、野生型抗原序列和一个点突变,判断该突变是否导致该抗体失效。标签来自深度突变扫描(DMS)实验,且通过突变级别匹配控制捷径风险。
五个任务的输入形式和评分方式各不相同——T1 是开放式的残基预测,T2 和 T4 是四选一,T3 和 T5 是二分类——但共享同一个核心约束:封闭式序列评估。所有 prompt 中删去了 PDB ID、抗体名称、抗原名称、数据库编号和论文元数据,只保留氨基酸序列和残基编号。这意味着模型不能靠"见过"某个已知复合物结构来作答,必须从序列本身推断表位信息。
论文还部署了一套系统的捷径控制策略:多选题的正确答案字母做了均衡(T2/T4)、二分类标签做了均衡(T3/T5)、候选选项顺序随机化、通过 MMseqs2 对抗原和抗体做聚类以减少冗余、分箱任务中正负样本对抗体序列相似度做了匹配、逃逸任务中控制突变级别的分布。
九个模型,零样本,谁都没及格
团队选取了 9 个通用 LLM,按权重开放性和推理能力两个维度分成两组:
推理模型组:Gemini-3-Flash、GPT-5.5、Qwen3.7-Plus、GLM-5.2、DeepSeek-V4-Pro、Kimi-K2.6
非推理模型组:GPT-4o、Grok 4.20、Qwen3-235B
所有模型在统一零样本协议下评测,允许显式中间推理(CoT)。作为参照,论文还给出了随机基线和专用表位预测模型的表现。
先说整体图景。T1 靶向区发现任务上,RegionRecall@50 显著超过随机水平——Gemini-3-Flash 拿到 56.9,比专用模型 BepiPred-3.0 的 60.4 差距不大。但 AUROC 这一衡量残基级别分辨力的指标上,所有模型都趴在随机线附近:Gemini-3-Flash 的 54.6 已是最高,GPT-4o 仅 50.5。这意味着模型能找出抗原上"大概可能"的表位区域,但无法在残基层面区分真正的表位残基和非表位残基。论文的判断是:识别抗原的通用属性,比定位特定抗体-抗原相互作用容易得多。
T2 抗体条件表位识别是最难的任务之一。随机猜对的概率是 25%,但最好的 GPT-5.5 也只有 31.9%——而基于 EpiPred 的专用模型可达 40.2%。模型看到四个候选表位——每个都是该抗原上的真实表位或精心匹配的合成区域——必须判断给定的抗体序列到底结合哪一个。深层问题是:模型缺乏将抗体序列特征与抗原结合界面建立精确对应的能力。
T3 表位分箱是唯一一个明显跑赢随机基线的任务,GPT-5.5 拿到 67.3%(随机 50%,专用模型 70.8%)。但这不一定说明模型真正理解了表位关系。论文指出,两个抗体是否结合同一区域,部分可以从序列相似度中推断,而无需精确定位结合界面。
T4 功能性评估和 T5 逃逸评估则暴露了更深层的短板。T4 要求模型判断一个表位是否有功能性证据支持,Grok 4.20 的 30.0% 仅略高于随机 25%。T5 要求预测一个点突变是否让特定抗体失效,Grok 4.20 的 54.7% 同样接近随机 50%。这两个任务考察的正是从序列推断潜在结构接触和功能后果的能力——而这恰恰是当前 LLM 最薄弱的环节。
没有哪个模型或模型类型在所有任务上通吃。Gemini-3-Flash 在靶向区发现和功能性评估上领先,GPT-5.5 在分箱上最强且整体最稳定,而非推理模型 Grok 4.20 在表位识别和逃逸评估上意外领跑。这种任务依赖型的排名说明,通用语言模型的推理能力本身并不能自动克服表位理解的核心瓶颈。
抗原一长,模型就「失明」
论文中反差最大的数据,来自按抗原长度分层的分析。
T1 靶向区发现任务上,团队将抗原按序列长度分为五档:<200、200-400、400-600、600-800、>800 个氨基酸。九个模型的平均 RegionRecall@50 从最短抗原的 81.3 一路暴跌至最长抗原的 12.8。
这不是线性衰减,而是近乎断崖式的崩溃。抗原序列越长,非表位残基越多、结构域越复杂、潜在表面区域越多样,而模型可预测的残基数量是固定的——它必须在越来越大的搜索空间中定位占比越来越小的表位信号。长序列中,表位区域可能只占整个抗原的几个百分点,而当前 LLM 缺乏将残基级位置信息保留到长上下文末尾的能力。
T2 至 T4 的长度敏感性相对温和,且并非单调下降。T3 在长抗原上甚至不降反升。论文对此的解释值得注意:当任务本身提供了更多生物结构(如候选表位选项、两两比较框架、功能标签),模型有时能保留足够的序列级信息来做判断——但这不意味着模型真正理解了表位。T2 需要在候选选项中关联抗体序列特征,T3 需要判断抗体对是否靶向重叠区域,T4 需要将表位与功能证据挂钩。这些任务要求的不是"读得下长序列",而是从序列中组织出生物上有意义的表位级决策。
CoT 有用,但只在不需要精确序列定位的时候
显式推理(Chain-of-Thought)能提升表现吗?论文给出了一个微妙的答案。
团队对比了允许和禁止中间推理的两种设定。结果因模型和任务而异。GPT-5.5 对 CoT 最敏感,显式推理比隐式推理平均高出 5.4 个百分点。但 Qwen3.7-Plus、GLM-5.2、DeepSeek-V4-Pro 和 Qwen3-235B 的平均差异为负或接近零。
正向效果最明显的是 T1:大多数模型在允许显式推理时召回率更高,说明 CoT 确实有助于组织开放式残基筛选任务。但这种优势在 T2 至 T5 上几乎消失。这些任务要求将抗体序列、候选表位、功能注释或逃逸突变与底层的表位关系连接起来——而是否把这些推理步骤写出来,对最终的序列级判断影响不大。
更值得警惕的是错误推理的模式分析。团队对可解析但答错的推理轨迹做了多标签归类,发现最常见的失败模式包括:motif 固着——执着于某个已知序列模体或功能位点,即使它不指向正确答案;知识声明——引用记忆中的抗体-抗原关联,而非从给定序列推断;理化启发式——用通用的亲疏水性、电荷互补等原则代替具体序列分析;以及相似性捷径——尤其在 T3 分箱任务中大量出现,模型倾向于用 CDR 序列相似度替代表位重叠判断。论文将这类行为概括为依赖间接生物代理,而非将预测锚定在抗体特异性的表位关系上。
一个诊断平台,而非又一张排行榜
EpiBench 的野心不在于给出一个总分然后排座次。它的设计——五个连贯任务、多源实验标签、封闭式序列评估、系统的捷径控制——更接近一个诊断工具:它告诉你通用 LLM 在抗体表位推理的哪些环节卡住了,卡在什么类型的生物学问题上。
论文的作者来自 Valhalla Technology 和浙江大学,通讯作者 Odin Zhang()。数据和评测框架已在 HuggingFace 上以 开源。
对 AI 制药领域而言,这份基准传递的信号很明确:不要被通用 LLM 在生物医药问答上的高分迷惑。当任务从"回忆已知知识"切换到"从序列推导分子层面的相互作用"时,所有模型的表现都大幅回落。抗体药物发现需要的不是又一个大而全的语言模型,而是能精确处理序列-结构-功能映射的专用工具——EpiBench 恰好提供了衡量这一能力的标尺。