AREX Feed Article
SemiAnalysis 独立分析:Jalapeño 每瓦性能超过其测过的所有 NVIDIA、AMD、Google 芯片
8 月 25 日,行业分析机构 SemiAnalysis(Dylan Patel 团队)发布对 OpenAI 首款自研推理芯片 Jalapeño 的独立分析,标题就叫 "Better Than Nvidia Blackwell"。文章的核心结论是:在中,Jalapeño 的每瓦性能最高。
团队称他们受邀进入 OpenAI 实验室,与 OpenAI 工程师一起现场核验了部分 InferenceX 基准运行。文章还披露了规格细节:B0 步进已在晶圆厂中,采用 TSMC N3P 工艺,单颗计算 die 提供 13.4 PFLOPs MXFP4 算力,每瓦性能较 A0 步进再提升约 25%。
同日,了 Jalapeño 的首批推理成绩:在 InferenceX 基准上对比 NVIDIA GB200/GB300 系统,GPT-OSS 120B、DeepSeek R1、Kimi K2.5 1T 三个公开权重模型上,每瓦 AI 工作量高 1.5–1.9 倍,端到端时延低 1.7–3.6 倍。
这款与 Broadcom 合作开发的 ASIC ,OpenAI 计划年底开始部署。此前的性能数字全部出自 OpenAI 官方口径;SemiAnalysis 这份分析把外部核验环节带进了 OpenAI 的实验室,尽管范围有限。
受邀进实验室,现场跑 InferenceX
SemiAnalysis 在文中写道,OpenAI 邀请他们"看看芯片、进实验室确认它有多真实,并用我们的 InferenceX 套件做基准测试"。团队与 OpenAI 工程师一起在实验室里运行了 InferenceX,现场核验了部分运行;OpenAI 还开玩笑式地展示了用 Codex 提示移植到芯片上的 Doom(36 FPS)。
他们公布的 headline 指标是每 all-in utility MW 的 token 吞吐,即把机房全部电力算进去、每单位电力产出的 token 数。在 SemiAnalysis 发布的对比图上,Jalapeño "smokes every other chip"(把其他芯片都比了下去),而且它没有使用 MTP(多 token 预测),对比芯片则都跑在各自 SKU 的最佳配置、全部开了 MTP。
单模型数字同样具体:DeepSeek R1 在并发 1 时单用户超过 700 tok/s;Kimi K2.5 接近 700 tok/s/user,在 100 tok/s/user 这个点上比第二名芯片高 9 倍以上;GPT-OSS 跑到约 1,400 tok/s/user。所有成绩都没有投机解码,也没有 prefill/decode 分离。三个模型的 GSM8k 正确率评测与 NVIDIA 芯片相当。
SemiAnalysis 还纠正了一个流传的说法:Jalapeño 是通用推理芯片,并非只针对 OpenAI 自家模型优化,现场跑的三个模型里有两个来自外部。他们的总体判断是:第一代芯片通常没有竞争力,但 OpenAI 打破了惯例,靠的是激进的软硬件协同设计(hardware/software codesign)。
B0 步进已在厂中,每瓦再提升约 25%
目前公布的所有成绩都来自 A0 步进,即项目启动仅 9 个月时的硅片。但 B0 步进已经在晶圆厂里:它在单颗 reticle 尺寸的计算 die 上提供 13.4 PFLOPs MXFP4,由 TSMC N3P 工艺制造。作为参照,同节点、相近尺寸的 Rubin 单 die 是 17.5 PFLOPs 稠密 NVFP4;而 Jalapeño 的 TDP 只有 700W,Rubin 是 900–1,150W。B0 的优化给每瓦性能带来约 25% 的提升。
其余规格方面:Jalapeño 配 HBM4,每封装 15.4TB/s 带宽,超过所有在售的 HBM3E 加速器;SemiAnalysis 判断 HBM 很可能来自三星。
时间线上,设计工作 2024 年年中启动,从团队组建到流片约 16 个月,SemiAnalysis 称之为"极快的 ASIC 开发周期";2025 年 11 月完成 CoWoS 封装级 tapeout,9 个月后(其中真实硅片 bring-up 只有 3 个月)交出了当前这批成绩。OpenAI 官方口径则是"从初始设计到流片九个月",并归因于 AI 辅助设计。
量产与出货:OpenAI 目前只有工程样品,生产计划 2027 年逐步爬坡,大部分产量安排在 2027 年年底。SemiAnalysis 的结论是,Jalapeño 是"一个真实的、大规模的量产 ASIC"(a real high volume ASIC)。
三项保留意见:数据来源、AgentX 与 Rubin
SemiAnalysis 在文中自己列了三项保留意见。
第一,所有数字由 OpenAI 提供。团队现场核验了 InferenceX 运行,但没有跑完整套件,也没有看到 AgentX 结果。AgentX 才是他们偏好的对比套件:长上下文、多轮对话,能反映真实生产负载下的路由、prefix cache、缓存管理和 offload 行为。8k/1k 的单轮负载更容易调优,跑得好不等于真实 agentic 负载下也好。
第二,与 Blackwell 的对比"不完整且不公平"。Jalapeño 用 HBM4,真正的对手是同样用 HBM4 的 Rubin:Vera Rubin 系统现在已开始向客户出货,而 OpenAI 手里还只有工程样品。SemiAnalysis 此前分析称 Vera Rubin NVL72 的每 MW 性能是 GB200 NVL72 的 5.4 倍,并直言定制芯片超过 Blackwell 本就在预期之内。
第三,被测模型不是开源前沿模型。NVIDIA 和 AMD 用更大的模型(如 DeepSeek V4 Pro、Kimi K3)在 AgentX 上发布过结果;模型越大、越新,在新芯片上 bring-up 越复杂。
即便如此,SemiAnalysis 称 Jalapeño 与 Rubin 的直接比较也不落下风:STP 输出 token 的每 MW 吞吐超过 NVIDIA 与 CoreWeave 7 月公布的 Vera Rubin MTP 结果;按每美元产出 token 数(TCO)算两者打平,但 Jalapeño 尚未启用投机解码,而 Rubin 用了。
投机解码能带来每 token 成本 3 倍以上的改善,一旦补上,Jalapeño 的成本优势会更明显。
官方同日发布成绩,部署年底起步
OpenAI 官方博客在 8 月 25 日发布首批成绩,测试方法正是 "InferenceX,SemiAnalysis 的公开基准"。
OpenAI 的数据是:三个公开权重模型上每瓦 AI 工作量高 1.5–1.9 倍、端到端时延低 1.7–3.6 倍、高交互负载性能高 2.1–4.1 倍;芯片额定 700W,实测持续功率在测试负载下不高于 550W。
当天发推称,结果显示了 "more intelligence from every watt"(每瓦特更多的智能);只有一句 "we made a chip and it is fast",截至发稿获 2.3 万赞、165 万次浏览。
部署节奏上,OpenAI 硬件副总裁 Richard Ho 在记者会上给出时间表:2026 年底以"极小批量"开始部署,2027 年规模爬坡;他同时强调不会用 Jalapeño 替换整个芯片阵容,会继续与 NVIDIA 等伙伴合作,第二代、第三代芯片已在开发中。记录了 Ho 对结果的定性:相对当前最先进的推理处理器,这是"非常、非常显著的性能提升"(a very, very significant performance advance over state of the art)。
真正的对手 Rubin 正在出货,答案还没出齐
这份分析解决了"有没有外部团队看过"的问题,但没有解决全部问题。
最大的空白是 AgentX。SemiAnalysis 自己说,8k/1k 单轮负载跑得好,不代表长上下文、多轮的 agentic 负载下同样好,真实生产负载会压到路由、prefix cache、缓存管理、offload 等组件;SemiAnalysis 称他们还没有看到任何 AgentX 结果。
其次是 A0 与 B0 的差距:所有实测数字来自 A0,B0 的约 25% 每瓦提升是规格层面的优化声明。再就是对照目标:Rubin 已经开始出货,但 NVIDIA 没有让 SemiAnalysis 以同样的方式测试并发布基准,SemiAnalysis 据此判断"CUDA 护城河可能正在失效",这是它的推断,不是结论。
后续节点是明确的:SemiAnalysis 称第一个生产 token "即将到来",下一目标是 100MW;部署上 OpenAI 正与 neocloud 合作,并会与数据中心伙伴持续收集可靠性数据到 1 月。在此之前,"每瓦性能超过所有对比芯片"这个判断仍带着它的限定语:数字由 OpenAI 提供,核验是现场的、部分的,团队没有跑完整套件,也没有看到 AgentX 结果。
参考链接