OpenAI 首枚推理芯片 Jalapeño 曝光，性能超越 Blackwell 与 Rubin

OpenAI 在 Hot Chips 大会上展示了其首款自研推理芯片的首批基准测试数据。"Jalapeño" 据报告在每瓦吞吐量（throughput per watt）和 token 延迟（token latency）两项指标上均超越 Nvidia 的 Blackwell 和 Rubin。

该芯片仅负责推理，即运行 AI 模型，但不进行训练。Jalapeño 也没有针对 OpenAI 自有模型做特殊调优，它是一款通用的 LLM 推理加速器。

OpenAI 声称，在峰值吞吐量下，Jalapeño 在三款测试模型上的每瓦 AI 算力是竞品的 1.5 到 1.9 倍，端到端延迟比市售最佳系统低 1.7 到 3.6 倍。在交互式工作负载下，性能提升达到 2.1 到 4.1 倍。

测试结果来自 SemiAnalysis 的公开基准测试 InferenceX。数据由 OpenAI 提供，SemiAnalysis 在实验室现场验证了部分运行。测试模型包括 GPT-OSS 120B、Deepseek R1 670B 和 Kimi K2.5 1T。在 GPT-OSS 上，Jalapeño 达到约每秒 1400 tokens per user。在 Deepseek R1 上，单并发请求下突破每秒 700 tokens。

在相同解码速度下，Jalapeño 每千瓦的 token 吞吐量是最佳可用加速器的 54 倍到 104 倍，因模型不同而异。| 图片来源：OpenAI

Jalapeño 取得这些成绩，并未使用多 token 预测或投机解码（speculative decoding）等技术，而部分对比系统则依赖了这些优化手段，这意味着仍有进一步提升的空间。

在关键的性能功耗比对比中，"Jalapeño 碾压其他所有芯片"，SemiAnalysis 在报告中写道。SemiAnalysis 首席执行官 Dylan Patel 补充道："通常第一代芯片不会有竞争力，但 OpenAI 击败了 Nvidia Blackwell，甚至还有 Rubin。"

SemiAnalysis 指出，更公平的对比对象不是 Blackwell，而是 Nvidia 最新的 Vera Rubin 平台，因为两者都使用了 HBM4 内存。即便如此，Jalapeño 每兆瓦的输出 token 数仍高于 Vera Rubin，尽管 Nvidia 的加速器采用了 Jalapeño 尚未采用的多 token 预测优化。在每 token 总拥有成本（TCO）上，两者大致持平。

不过也有需要注意的地方。Nvidia 和 AMD 已经发布了更大模型（如 Deepseek V4 Pro 和 Kimi K3）的结果，但这些模型尚未在 Jalapeño 上测试。而且尽管 Rubin 系统已向客户发货，Jalapeño 据报道仍未超越工程样片的阶段。

OpenAI 用九个月完成了芯片设计，部分借助了自研模型

OpenAI 与 Broadcom 合作开发了 Jalapeño。设计工作于 2024 年中期启动，最终设计于 2025 年 11 月交付流片。完整周期约 16 个月，但 OpenAI 表示从第一版芯片设计到送往工厂的最终蓝图之间只用了九个月。据 OpenAI 透露，公司在开发过程中使用了自研 AI 模型。老一代模型帮助完成了芯片设计，而新一代模型则加速了编程和优化工作。

SemiAnalysis 将此视为 Nvidia 备受热议的"CUDA 护城河"可能已经不攻自破的信号。"鉴于 OpenAI 能在其自研芯片上如此迅速地适配新模型，CUDA 护城河可能已死"，该机构在报告中写道。

OpenAI CFO Sarah Friar 表示，这款芯片契合公司更宏大的计算战略——数据中心、芯片、模型、开发者平台、产品和设备作为一个整合系统协同运作。她声称 Jalapeño 是对 OpenAI 与 Nvidia、AMD、AWS、Cerebras、CoreWeave 等现有合作关系的补充，而非替代。

OpenAI 与这些公司中的多家有着深厚合作关系。Nvidia、AMD 和 AWS 都是投资者或算力合作伙伴，其中 Nvidia 是最大的投资者之一。每家公司也都在自研 AI 芯片，这让彼此关系既合作又竞争。尽管如此，所有这些公司都在持续宣称全球算力永远不够用——这一说法恰好有利于各自的商业利益。

AI 新闻，去伪存真

订阅 THE DECODER，享受无广告阅读体验、每周 AI 通讯、每年六期的独家"AI Radar"前沿报告、完整档案访问权限，以及评论区参与资格。