OpenAI 首款自研芯片 Jalapeño 公布首批推理成绩：每瓦吞吐最高 1.9 倍于对比系统

北京时间 8 月 25 日 23:31，OpenAI 总裁兼联合创始人 Greg Brockman 在 X 上发了一条一句话推文："inference numbers published for jalapeno, team did an amazing job"（Jalapeño 的推理数字公布了，团队干得非常漂亮），末尾附上官网链接。指向 OpenAI 当天发布的，页面日期为 2026 年 8 月 25 日。

Jalapeño 是 OpenAI 第一颗自研推理芯片。结果页给出的核心数字是：在 GPT-OSS 120B、DeepSeek R1、Kimi K2.5 1T 三个公开权重模型上，Jalapeño 在峰值吞吐下每瓦完成的 AI 工作量比对比系统高 1.5 至 1.9 倍，端到端时延低 1.7 至 3.6 倍，高交互负载下性能高 2.1 至 4.1 倍。测试采用 SemiAnalysis 的公开基准 InferenceX，对比系统是英伟达 GB200 与 GB300 系统。

推文只有一句话，链接里是两个月前的悬念

Brockman 的推文没有给出任何数值，也没有解释 jalapeno 是什么，但链接页面把话说全了：这是 OpenAI 自约两个月前宣布 Jalapeño 以来首次公布的实测推理数字。6 月 24 日 OpenAI 与 Broadcom 联合发布这颗芯片时，官方只说"早期测试显示每瓦性能将显著优于当前最先进水平"，把详细报告预告在"未来数月"。如今数字以一篇完整结果页的形式落地，作者署名 OpenAI。

截至检索时，这条推文已获得 37 条回复、6 次引用转发、450 余次点赞和超过 4.2 万次浏览。回复区里既有祝贺，也有围绕具体数字的讨论，还夹杂着与芯片无关的诉求。

1.9 倍、1/3.6：三个模型逐一对照

结果页把成绩按模型拆成三组，每组都列出了与对比系统的逐项数字：

GPT-OSS 120B 对 GB200（封装 TDP 1,200 W）：峰值混合吞吐每千瓦 85,448 对 44,960，约为 1.9 倍；端到端时延 1.03 秒对 1.80 秒；最小 token 间隔 0.69 对 1.87 毫秒，折合每用户每秒 1,459 对 535 token。
DeepSeek R1 670B 对 GB300（封装 TDP 1,400 W）：每千瓦 19,641 对 11,781，约 1.7 倍；端到端时延 1.65 秒对 5.99 秒，约低 3.6 倍；最小 token 间隔 1.43 对 5.90 毫秒（700 对 169 tok/s/user）。
Kimi K2.5 1T 对 GB300：每千瓦 18,195 对 11,862，约 1.5 倍；端到端时延 1.56 秒对 5.31 秒；最小 token 间隔 1.44 对 5.48 毫秒（694 对 182 tok/s/user）。Kimi 是本次测试中最大的公开模型。

吞吐差距的来源之一写在功耗数字里：Jalapeño 额定 700 W，测试负载下实测持续功率始终不高于 550 W；两个对比系统的封装功耗分别是它的 1.7 倍和 2 倍。

结果页附录还给出一个更悬殊的数字：在保持对比系统最小 TBT 的前提下，Jalapeño 的每千瓦吞吐高出 53.7 倍至 104.3 倍。OpenAI 同时称，内部测试中 Jalapeño 在自己前沿模型上的优势更大，由此判断负载越大、要求越高，这套架构的价值越明显。

为什么用「每瓦」而不是「每颗芯片」来衡量

结果页专门解释了衡量口径。OpenAI 说，性能有时按单芯片报告，但它认为更有用的标准是单位功率完成的 AI 工作量，因此在"匹配用户体验"的前提下比较：每个系统都要满足客户和交互式 agent 要求的时延，再看同样功率下能完成多少有用工作。对 agent 而言，任务由许多串行步骤组成，每一步的延迟都会在整个任务中叠加，所以时延和吞吐不能分开看。

测试在 InferenceX 上进行。这是 SemiAnalysis 的公开基准，覆盖服务一次 AI 请求的完整过程。对比覆盖从高吞吐批处理到高交互低延迟的整个运行区间，OpenAI 称 Jalapeño 在三个模型上都处在帕累托前沿，即没有系统能在功率效率和时延两方面同时超过它。

所有结果按各家公布的芯片额定功率归一化，测试在名义 8k/1k token 的设定下进行。这些数字由 OpenAI 自行测试并发布，是公司对自己芯片的宣称，而非第三方验证的结果。

用 AI 设计芯片，也让芯片更好被 AI 编程

Jalapeño 的性能来自单芯片架构与系统级设计。OpenAI 在结果页里把设计思路讲得很直白：推理分两阶段，prefill（处理提示词）是算力密集，decode（逐 token 生成）受内存带宽限制，跨核跨芯片的数据搬运还会让部分计算单元空等。一个阶段快的系统，可能在等待数据时丢掉优势。

Jalapeño 的做法是尽量减少数据移动：包括 KV cache 在内的模型状态被显式放置并保持本地，每个推理阶段按需启用计算、内存与网络的组合；网络被设计为架构的组成部分，其大域让整个负载留在同一个互联系统内。OpenAI 称这是一个"均衡、可置换"的加速器，能适应 prefill 与 decode 比例的实时变化，而这正是 agent 负载的特征。

AI 在这颗芯片里同时扮演设计者与程序员。OpenAI 说，从初始设计到流片只用了九个月，AI 通过压缩设计、测量与验证循环加速开发，还优化了芯片的算术电路。

编程侧，工程师用 Codex 配合 GPT-Astra，把三个原本不在生产计划内的开放权重模型在两个月内优化到高性能；在选定的 GPT-OSS 注意力与混合专家模块上，AI 生成的实现比人类专家手写快 1.5 至 1.8 倍。OpenAI 特别注明，这一数字只适用于选定模块，不是全模型。

6 月发布、年底部署：Jalapeño 的时间表

6 月 24 日，，称其为 OpenAI 首个 Intelligence Processor。发布现场，Broadcom 总裁兼 CEO Hock Tan 与总裁 Charlie Kawwas 把芯片交到 OpenAI CEO Sam Altman 和 Brockman 手中。芯片实现由 Broadcom 负责，Celestica 负责板卡、机架与系统集成；工程样品当时已在实验室以生产目标频率和功耗运行 GPT-5.3-Codex-Spark。

Brockman 在发布时给出的定位是长期基础设施战略："世界正在走向算力驱动的经济。Jalapeño 是我们长期全栈基础设施战略的一部分，目的是让算力更充裕，让 AI 更快、更可靠、更便宜。"OpenAI 当时还自称九个月完成设计到流片，是"高性能先进半导体领域最快的 ASIC 开发周期"，这一说法属于公司自己的宣称。

时间表在两份页面里一致：Jalapeño 将在今年年底前开始部署进 OpenAI 自己的算力设施，之后与数据中心伙伴一起扩展到吉瓦规模，Hock Tan 提到 2026 年起与 Microsoft 等伙伴合作；Gen 2 已深度开发，Gen 3 正在成形。

结果页还列出了三种运行模式的效率跃升：超快模式达到以往只有快模式才有的效率，快模式达到以往只有批处理才有的效率，批处理效率进一步提高。同时 OpenAI 明确表示会继续大规模部署 NVIDIA 及其他伙伴的加速器，训练与推理都用，Jalapeño 是补充而非替代。

社区盯住 535→1459，量产验证还在后面

回复区里有两条回复直接落在数字上。欧洲开发者 NotaDEV 在中说："每用户每秒 token 从 535 涨到 1459，才是真正会改变人们使用方式的数字"，指的是 GPT-OSS 测试中最小 token 间隔的改善。伦敦的 Harley Lewis Foote 在里评价更直接："从炫耀训练算力到公布推理成本，成本曲线本身就是产品了。"

也有与芯片无关的声音：几条回复在刷"把 GPT-4o 带回来"的 #4oForAll 话题，写道："做件更漂亮的事，把 4o 带回来。"

OpenAI 在结果页里给这些数字留了后置条件：截至发布，芯片仍在生产认证阶段，软件在成熟中，规模运营准备与更多模型的验证都列在部署前的待办里。按计划，Jalapeño 年底前开始部署进 OpenAI 的算力设施。每瓦 1.9 倍是实验室基准上由 OpenAI 自己测出的成绩；它能否兑现为 OpenAI 所说的更低推理成本和更快响应，要等这批芯片真正跑上生产负载之后才有答案。