OpenAI 发布首款自研 AI 推理芯片
OpenAI 与 Broadcom 合作推出定制芯片优化模型推理,反映 AI 公司向芯片领域的战略扩张。
OpenAI 与 Broadcom 合作推出定制芯片优化模型推理,反映 AI 公司向芯片领域的战略扩张。
周三,OpenAI 发布了首款定制推理处理器。这款处理器由 OpenAI 与 Broadcom 合作设计和制造,名为 Jalapeño,专门针对 OpenAI 推理系统的独特需求打造。该公司表示,OpenAI 自己的 AI 模型也参与了这款芯片的研发。
虽然这款芯片仍在测试阶段,但 OpenAI 表示,早期结果显示,其每瓦性能显著优于目前最先进的替代方案。
双方于去年 10 月正式宣布合作,但长期以来一直有传闻称,OpenAI 计划开发自研芯片,以降低对 Nvidia GPU 的依赖。Google 和 Amazon 都已出于类似目的打造了定制芯片,这类芯片通常被称为「AI 加速器」——专为加速机器学习工作负载而设计的芯片。
在宣布与 Broadcom 合作后不久,OpenAI 总裁 Greg Brockman 在公司自制的播客节目中介绍了 OpenAI 的芯片研发思路。
「我们对工作负载有着深入的理解,」Brockman 在节目中说道。「我们一直在寻找那些现有方案无法充分满足的特定工作负载,并思考:怎样才能打造出一款芯片,进一步拓展能力的边界?」
Jalapeño 专为推理设计,也就是根据用户指令运行预先构建好的 AI 模型。在公告中,OpenAI 特别强调了这款芯片运行实时编程模型时较低的运营成本。预训练等对性能要求更高的任务,很可能仍会依赖 Nvidia 硬件,但哪怕只是小幅降低推理成本,也可能大幅改善公司的利润表现。
展望未来,优化推理系统可能会成为决定 AI 经济性的关键因素,而且这种优化很可能会发生在技术栈的每一层。OpenAI 已经在开发 Codex 等 Agent 产品及其底层模型,同时也在建设用于运行这些模型的数据中心。进军专用芯片领域,让该公司能够在这一进程中更进一步。OpenAI 在公告中对此作出了解释。
「OpenAI 不只是在开发前沿模型,或基于这些模型构建产品;它也在设计支撑这些模型的底层基础设施:芯片架构、kernel、内存系统、网络、调度、部署系统和产品体验,」该公司写道。「由于 OpenAI 覆盖了整个技术栈,因此可以围绕同一个目标优化每一层:让模型对用户而言更快、更可靠,也更实惠。」