AREX Feed Article
Exa 发布 Agent Ultra:编排智能体集群执行穷尽式研究,自称评测达到 SOTA
9 月 25 日 16:46(UTC,北京时间 26 日凌晨 0:46),账号定位旧金山、自述为「构建面向未来搜索引擎的 AI 研究实验室」的 在 X 上推出 Agent Ultra,称其为深度研究的「step change」(台阶式跃升):它可以编排成群的 agents(swarms of agents)执行穷尽式研究、构建综合性清单,并回答需要数千个来源支撑的问题。帖子最后一句说,它在「评测和手感」(evals and vibes)上都达到 state of the art。Agent Ultra 是其 Exa Agent 产品中最高的 effort 档位。
具体数字来自 Exa 同日发布的:Agent Ultra 在多项基准上超过 Opus 5.5、GPT-6 Astra 和 Perplexity Agent 各自的最高 effort 模式。据 整理的发布材料,在 WANDR 基准的 soft recall 指标上,Agent Ultra 得分 81.4%,Opus 5.5 为 72.3%;在「Company Find-All」任务里,它平均每个任务找出 2,451 家合格公司,Opus 5.5 是 146 家。这批成绩目前全部由 Exa 自己报告,MarkTechPost 明确写着「尚未获得独立复现」。
主帖与一秒后的细节帖
主帖发布于 9 月 25 日 16:46:16(UTC),三段话构成全部口径:产品名、三项能力(穷尽式研究、综合性清单、数千来源的问题),以及 SOTA 声明。截至发稿前检索,这条帖子有 1,940 个赞、125 次转发、94 条回复、41 次引用和 204,096 次浏览。两帖均为第一方口径,帖文未引用第三方验证。
一秒之后的 16:46:17,Exa 用补上技术路线:Agent Ultra 跑在一套定制的研究 harness(运行与编排框架)上,高效调度 subagents(子智能体)、代码执行(code execution)和 Exa 自家的 token 高效内容摘要(content highlights)。帖子据此给出两个进一步的主张:在网络研究上是 state-of-the-art;同时在成本和质量上「Pareto 占优」——按这个词的含义,即没有对手能同时在成本、质量两项上压过它。
四项基准对比:Exa 自报的成绩与成本主张
MarkTechPost 从 Exa 发布博客整理出的对比表如下,四款对比系统都运行在各自最高 effort 档位:
| 基准(指标) | Agent Ultra | Opus 5.5 | GPT-6 Astra | Perplexity Agent |
|---|---|---|---|---|
| WANDR(soft recall) | 81.4% | 72.3% | 26.0% | 40.1% |
| DeepSearchQA(F1) | 93.9% | 77.6% | 85.3% | 89.7% |
| WideSearch(行级 F1) | 58.9% | 51.6% | 54.7% | 56.0% |
| Company Find-All(平均每任务合格实体数) | 2,451 | 146 | 113 | 98 |
Exa 为每项成绩都配了成本主张:WANDR 上比 Opus 5.5 高 12.6%,单任务成本是对方一半;DeepSearchQA 上比 Perplexity Agent 高 4.7%,单任务成本比 GPT-6 Astra 低 46%;WideSearch 上比 Perplexity Agent 高 5.2%,是四套系统中单任务成本最低的;Company Find-All 上比 Opus 5.5 多 1,579%,每找到一个合格实体的成本最低。MarkTechPost 特别提醒,这些是相对增益而非百分点:WANDR 上对 Opus 5.5 的绝对差距是 9.1 个百分点。
任务规模也有限制:据 MarkTechPost,Exa 在 WANDR 和 DeepSearchQA 上各评测至多 200 个任务,在 WideSearch 和 Company Find-All 上各评测 100 个,各家被评的任务数不完全相同。
一次 Ultra 运行:怎么调、怎么计费、能跑多久
机制上,Exa Agent 把任务拆成 subtasks(子任务),派给多个 subagents 同时研究不同领域;需要前沿能力的步骤用 frontier 模型,够用的步骤交给更快的模型。博客称 Ultra 就是为「必须跑到穷尽」的最难任务设计的:深度研究、清单构建、实体扩充(entity enrichment)。
调用方式在 里:把 Agent 运行请求的 effort 设为 "ultra",其余参数——outputSchema、input.data、流式输出——与其他运行一致。计费按标准 Agent 用量计算,单次运行默认上限 20 美元,提前结束则收得更少。MarkTechPost 补充了预算参数的取值范围:maxCostDollars 为 1~100 美元,maxDurationSeconds 为 300~10,800 秒,其中后者与提前停止是 Ultra 专属控制项;运行可以中途停止,已找到的结果保留,按已用量计费。运行时长方面,MarkTechPost 报道称复杂任务通常约 30 分钟完成,最长的可到 3 小时,而 SDK 默认轮询 1 小时就会超时,需要拉长超时或改用流式事件。
边界同样清楚:据 MarkTechPost,它不是开放权重模型,不能自托管,只能以托管 API 形式使用;如果按文档走 OpenAI 兼容的 /responses 接口,需把 reasoning.effort 设为 "ultra",并配合 stream: true 或 background: true。博客写明 Agent Ultra 当天可用(available today),附带的 链接已把 effort 预设为 ultra。
判分模型换成 gpt-6-luna,评测口径引来追问
WANDR 本身不是 Exa 的基准。MarkTechPost 介绍,它是 Perplexity 发布的评测集,包含 500 个 wide-and-deep(广度加深度)数据收集任务,harness 开放。Exa 在博客里对判分口径交代得很细:grader(判分程序)与上游仓库共享同一套内嵌(vendored)评测逻辑,核心差异有三处——contents tool(内容获取工具)换成了 Exa 自己的,transport logic(传输逻辑)不同,judge(判分)模型换成了「更好也更便宜」的 gpt-6-luna;凡 Perplexity、Anthropic 或 OpenAI 在这套 harness 上公布过成绩的,直接采用公布值,没有的由 Exa 自己跑。图表中淡色的点,是各家低 effort 档的成绩。
这套口径当天就引来技术性质疑。FYN Labs 创始人 Mathias Heinke 说,在 WANDR 上比 GPT-6 Astra 高 213% 的差距固然巨大,但读数有两个细节:judge 换成了 gpt-6-luna,而没有公布成绩的对手是 Exa 自己代跑的;他问 Exa 能否用上游 judge 重跑一次 WANDR。另一位用户的更直接:「100% Ultra benchmaxed (sadly)」——意思是它就是照着评测刷出来的。
建清单的场景与一笔可能挪动的预算
博客为 Ultra 列出三类示例用户:model providers、financial services、go-to-market teams。MarkTechPost 把三类展开成具体场景:模型厂商用它组装训练数据,例如收齐实现某一技术的论文和代码仓库,并核验「发布了权重,而不只是提供 API」这类标准;金融服务业用它搭建尽调市场地图、跨申报文件和法庭记录跑 KYC(了解你的客户,合规身份核查)研究、监控投资组合信号;GTM 团队用它建账户清单,再用带引用 URL 的判断字段逐行扩充。博客还写明了一个直接服务于清单的机制:把已有清单的行传回去,新结果会排除这些行,方便继续扩清单。
推文下的真实反应也集中在清单场景。旧金山用户 Jeffrey Han :对做 outbound(外呼获客)的人,最关键的一行是 Company Find-All——2,451 家对 Opus 5.5 的 146 家;「我现在是付钱给 Apollo 和爬虫来做这种清单的。如果它在真实 ICP(理想客户画像)上站得住,很多建清单的预算就要挪动了。」工程侧的疑问也没有停:Super Intelligence Inc. 创始人 Kisson 的是 swarm 协作里最难的环节——多个 agents 之间如何去重、系统靠什么判断一张清单「已经做完」。
这组 SOTA 成绩目前只有 Exa 自己的判分流程背书;它能不能站住,取决于有没有第三方按同一套规则——或至少用上游 judge——把它复现出来。