AREX Feed Article
Jalapeño 架构首度公开:64 核切片、2,048 芯片 pod,第二代数月内流片
OpenAI 在 8 月 25 日于斯坦福大学举行的 Hot Chips 2026 演讲中,首次公开了自研推理芯片 Jalapeño 的架构细节:700W 功耗、216GB HBM4 内存、64 个核心切片,单集群可扩展至 16 机架 2,048 颗芯片,合计 27 EFLOPS(MXFP4)算力与 32PB/s 聚合内存带宽。
逐项拆解了这批新参数;OpenAI 硬件负责人 Richard Ho 在演讲和采访中同时确认,第二代芯片将在“未来数月”内 tape out(流片),第三代已成形。
Jalapeño 是 OpenAI 与 Broadcom 联合开发的首款自研芯片,6 月发布时公司称其从初始设计到流片只用了九个月。8 月 25 日的同一场演讲公布了首批基准成绩:在 SemiAnalysis 的 InferenceX 测试中,对比 Nvidia Blackwell 系统,每瓦 AI 工作量高 1.5–1.9 倍、端到端时延低 1.7–3.6 倍。基准数字全部出自 OpenAI 自报;本次演讲新公开的,是这些成绩背后的芯片实现方式。
64 个核心切片,每片独占一块 HBM
Jalapeño 的核心是“内存切片”(memory-sliced)式 NUMA 架构:芯片上有 64 个核心切片,每个切片配一块独立的 HBM 切片。Tom's Hardware 转述 OpenAI 的说法称,这种布局保证可预测的时延和带宽,避免统一内存子系统带来的竞争,让常用操作数留在离计算单元最近的位置;至于为什么恰好是 64 个切片,OpenAI 没有解释。
芯片内部跑着两套网络:一套高带宽低时延的 collective network,把操作数“寄存器到寄存器、零冲突”地送到需要它的核心;另一套通用 NoC 被 OpenAI 刻意做得“比正常芯片架构预期的更弱”,只处理远程内存访问等低频通信。Tom's Hardware 指出,若只做一套更强的通用 NoC,会占用更多硅片面积和功耗,并重新引入竞争。
的说明是:推理的不同阶段瓶颈不同,prefill(处理提示词)吃算力,decode(逐 token 生成)受内存带宽约束,跨核心通信还会添时延。芯片的设计目标是把模型状态(包括 KV cache)显式放置在本地,按推理阶段调动计算、内存和网络资源。
Tom's Hardware 报道称,OpenAI 在演讲中把推理拆成 prefill、draft、verification 三个阶段,而不是 Nvidia 的两阶段划分(prefill 加 decode),并选择用一颗均衡的 ASIC 同时应付三个阶段。它还给出了一个带宽对比:一个 128 片的 Jalapeño 域有超过 1PB/s 的 HBM4 聚合带宽,高于 GB300 NVL72 的 576TB/s;按一个万亿参数 FP4 模型约 0.5TB 权重算,系统每秒能把整个模型读 2,000 遍以上。
规格上,Jalapeño 在 700W 下提供最高 3.4 PFLOPS(MXFP8)和 13.4 PFLOPS(MXFP4)算力,实验室里的硅片已在 1.70GHz 下运行,工程师计划把频率提到 1.80GHz。Tom's Hardware 注意到,MXFP4 格式未必够训练用,这颗芯片只面向推理。
2,048 片一个 pod:27 EFLOPS 与 32PB/s 聚合带宽
扩展性是另一块新披露:Jalapeño 单机架可放 128 颗加速器,机架内用 600GB/s 以太网互联,再往上是以 16 机架为一组的 pod,容纳 2,048 颗芯片,每颗芯片分到 200GB/s。整个 pod 提供 27 EFLOPS(MXFP4)、432TB HBM4 和 32PB/s 聚合内存带宽。
组网用的是 Broadcom Tomahawk 6 以太网交换机,拓扑是 OpenAI 所称的“半扁平”两级 Clos:张量并行流量拿到更高带宽,专家并行通信拿较低带宽,两者都优先保证低时延。问答环节中,OpenAI 确认 scale-up 网络采用 200Gb/s 以太网链路;芯片由 Broadcom 合作开发,芯片之外的服务器与机架硬件由 Celestica 制造。
Tom's Hardware 的评价是:纸面上这些规格对比 Nvidia Blackwell Ultra(10 FP8 PFLOPS、20/15 NVFP4 PFLOPS)“算不上惊艳”,OpenAI 的回应是,Jalapeño 平台的差异不在裸算力和带宽。
九个月流片:过半核心由 XLS 写成
开发节奏是本次披露的另一块新信息。Tom's Hardware 报道的时间线:RTL 工作在 2025 年 2 月启动,当年 11 月流片,2026 年 5 月拿到首批硅片,同月 Codex 已经跑在 Jalapeño 上。
OpenAI 称芯片大部分是从零设计,而非拼装 Broadcom 的现成加速器 IP:计算 die 复用了部分接口 IP,过半核心用 XLS 硬件语言和编译器基础设施新写。OpenAI 自己的模型在搜索功耗、性能、面积(PPA)的改进空间:相比人类“基线”设计,BF16 乘法器改进 56%、FP4 点积块改进 21%、FP32 累加器改进 10%,矩阵和 SIMD 单元面积各降 10% 和 8%。
新闻稿补充了两件事:用 Codex 加 GPT-Astra,团队把三个不在原始生产计划内的开源权重模型在两个月内调到了高性能;在选定的 GPT-OSS attention 和 MoE 块上,AI 生成的实现比人类专家手写实现快 1.5–1.8 倍(只针对选定块,不适用于整个模型)。
路线图也随演讲明朗:Ho 说第二代芯片“已经走得相当远”,预计“未来数月”tape out;第三代他口头称已“operational”,尽管幻灯片上写的是“planned”,Tom's Hardware 如实记录了这处出入。OpenAI 新闻稿的措辞是“Gen 2 深度开发中、Gen 3 成形中”。
自报的每瓦优势,还差一场 Rubin 对表
基准口径需要重新交代:OpenAI 用 SemiAnalysis 的 InferenceX 对比 Jalapeño 与 GB200/GB300 的完整“时延-吞吐”曲线,按各自标称功耗归一化:Jalapeño 700W、GB200 1,200W、GB300 1,400W。
三个公开权重模型(GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T)上,每瓦 AI 工作量高 1.5–1.9 倍、端到端时延低 1.7–3.6 倍,交互负载高 2.1–4.1 倍;Kimi 上优势最大(每瓦约 1.5 倍、时延低 3.4 倍)。新闻稿还披露,实测持续功耗在测试负载上不超过 550W,低于 700W 标称值。
提醒,这些结果仍是 OpenAI 对自家芯片能力的自述;Tom's Hardware 也指出,104.3 倍那个数字只出现在 GB300 最低时延工作点上,方法本身偏向 Jalapeño 的低时延强项,结果“被显著放大”。
据 ,SemiAnalysis 到 OpenAI 实验室实测了 Jalapeño,称其在几乎所有测试场景的每瓦性能上都赢了 Blackwell,但同时认为这个对比“不完整也不公平”:Jalapeño 用更新的 HBM4,同样用 HBM4 的 Nvidia Rubin 平台才是对等比较对象。SemiAnalysis 的判断是,“Vera Rubin 系统现在就开始向客户发货,而 OpenAI 距离拿出工程样品之外的 Jalapeño 还要一段时间”。
确认,Ho 表示测试没有覆盖刚发货的 Vera Rubin。分析师的反应集中在成本结构上:Yole Group 技术分析师 Adrien Sanchez 对 CNBC 说,这“对 Nvidia 的推理利润率构成威胁,而推理是当下增长最快的领域”;Omdia 高级首席分析师 Alexander Harrowell 称,大规模部署能省下供电、散热和配电基础设施,“对单位经济性贡献很大”,并预计定制 ASIC 到 2028 年在出货量上超过 GPU。
OpenAI 没有把话说成告别 Nvidia:Ho 说“Nvidia 是很好的合作伙伴,我们仍然需要大量 Nvidia”,新闻稿也承诺继续广泛部署 Nvidia 及其他伙伴的加速器,用于训练和推理。按 Firstpost 的说法,Jalapeño 2026 年底小规模部署,2027 年才有更大规模铺开。
眼下悬而未决的是:芯片还在量产认证阶段,与 Rubin 的同代对比没有做过。Ho 对成本前景的判断是:“我们处于一个能把基础设施成本压下来的成本和功耗水平上。这是第一步。”