8.0
热点
AI SCORE
技术实践2026-10-20 21:04
Coral NPU补齐矩阵单元与开源编译链
Google Developers Blog#边缘AI#开源#编译器
Editor brief · 编辑速览
Coral NPU 的32位开源 RISC-V 架构新增矩阵执行单元，最高达1 TOPS，面向边缘推理设定10 mW平均功耗目标。同步发布的 IREE/MLIR 1.0开源编译器支持将 JAX、PyTorch 和 TensorFlow 模型编译至该硬件，并提供开发板等原型验证选项。
AI 最引人注目的一些应用场景，正直接发生在我们身边的设备上。最先能看到的是可穿戴设备这类个人设备，它们需要实时理解上下文；如今，这样的应用也越来越多地出现在自主机器人和智能传感器等企业与工业系统中。这些体验要求低延迟、严格的隐私保护，以及全天候的可靠运行，不能依赖与云端持续往返通信。
Edge AI 与云端互为补充，共同带来出色的 AI 体验。这需要上下文和智能在两者之间持续流动，形成模型级联，让信息在合适的时间、合适的位置被采集和处理。边缘端的超低功耗模型可以持续感知并实时响应，而在需要更深入的推理时，则无缝交给设备端或云端的更大模型处理。
然而，为边缘端开发的难度，仍然远高于它本应有的水平。云端基础设施已经收敛到少数几套标准软件栈，边缘端却分散在数百种专有芯片架构和互不兼容的工具链之间。对 ML 开发者来说，这意味着沉重的碎片化成本：每适配一种目标芯片，都得重写 kernel、重新量化模型，并调试厂商专用的编译器。
去年，Google Research 推出了 Coral NPU，背后的想法很简单：只有开放的软硬件标准，才能统一边缘端，释放开发者的生产力，并实现可移植性。我们以标准为基础、以 ML 为优先的 RISC-V 架构，配合可靠的开源工具链，让开发者有信心确保模型能够编译并运行，也让团队只需优化一次模型，就能部署到不同 SoC 厂商的芯片、不同设备和不同功耗范围中。
今天，Coral 项目迎来了三项重要里程碑：
解决边缘端的碎片化问题，不能只靠发布一套指令集。过去，许多边缘加速器的设计目标，是在规格表上给出很高的峰值算力，软件支持则留给编译器团队事后解决。在实际运行中，不受支持的神经网络层会回退到通用 CPU 执行，进而增加延迟、消耗电池电量。
从一开始，我们就将 Coral NPU 架构与编译器放在一起设计。我们关注的是能耗上切实可行的计算能力：帮助应用在合适的功耗范围内获得所需的性能，而不是一味追逐峰值指标。
过去一年，我们陆续发布了 32 位 Coral NPU 设计的前三个里程碑：可用 C 编程、负责控制流的 RISC-V 标量前端（Milestone 1），用于 SIMD 运算的 RVV v1.0 向量协处理器（Milestone 2），以及支持浮点运算的紧耦合内存子系统（Milestone 3）。随着本月 Matrix Execution Unit（Milestone 4）的发布，32 位架构现已完整就绪。
标量和向量单元很适合通用控制逻辑与信号处理，但现代 ML 工作负载，无论是视觉编码器还是 transformer 注意力层，大部分时间都花在二维矩阵与矩阵乘法（GEMM）以及矩阵与向量乘法（GEMV）上。在一维向量引擎上运行二维矩阵运算，会迫使芯片反复从内存加载权重和激活值，搬运数据消耗的能量可能比计算本身还多。
我们的 Matrix Execution Unit 利用 RISC-V VME 规范（正式归属于 Zvt 系列）来满足这一需求，并采用专用的外积乘加（MAC）引擎。外积引擎可以在单个周期内计算一个完整的二维运算分块，每周期执行 256 次 MAC，因此能够直接在本地寄存器中复用权重和激活值。这让核心的吞吐量能够随规模呈平方级增长，最高可配置为 1 TOPS。
在低于 10 mW 的功耗范围内拥有专用矩阵引擎，改变了开发者依靠小型电池所能实现的功能。设备不必止步于简单的关键词唤醒或基础运动检测，而是可以持续运行多模态工作负载，包括 Gemma 这类小型 transformer 模型、可穿戴设备上的实时语音翻译、智能耳戴设备上的空间音频滤波，以及机器人上的低延迟视觉感知。
为了帮助芯片团队将这一开放设计直接用于商业量产，完整的 32 位 RTL 现已在 GitHub 上开放。
为了让开发者无需编写定制汇编，就能轻松面向这套硬件进行开发，我们还发布了开源 MLIR/IREE 编译器工具链的 v1.0 基础版本。
借助这套软件栈，你可以通过 StableHLO 和 TOSA 等标准表示形式，接入来自 JAX、PyTorch 或 TensorFlow 的模型。编译器会在主机 CPU 和 Coral NPU 核心之间划分工作负载，处理算子融合，将矩阵分块以适配本地 SRAM 和矩阵累加器，并逐步将工作负载降低为 Coral NPU 标量指令、RVV v1.0 向量指令和 VME 矩阵指令。配合开源 MPACT 模拟器和参考 FPGA 设计，软硬件团队可以在芯片送交制造之前，对模型进行基准测试，并调整芯片配置。
将开放标准转化为商业芯片，需要整个半导体价值链的协作。为了帮助芯片合作伙伴将这一开放设计直接用于商业量产，完整的 32 位 RTL 现已在 GitHub 上开放。我们也正与 VeriSilicon 合作开展设计实现与验证（DV），确保这套设计达到可直接用于芯片流片的交付状态。此外，我们正与 GlobalFoundries 合作，基于其 12LP+ FinFET 工艺，在多轮 RTL 迭代中将核心时序表现提升了 70%，并将标准单元面积最多缩减了 15%；同时，我们还在持续评估将 12LP+ 超低功耗库用于 Matrix Execution Unit。
在商业芯片方面，我们与 Synaptics 的合作表明，这套开放标准可以迅速转化为实际硬件，覆盖差异很大的功耗预算，同时保持一致的软件体验。
在 Synaptics Tech Day（2026 年 10 月 20 日）上，Synaptics 将推出三款基于 Coral NPU 技术、由开放 IREE/MLIR 工具链支持的商业芯片和硬件产品：
第二代芯片——Synaptics Astra SR200 系列：SR200 系列已完成流片，并于本月推出。该系列集成第二代 Coral NPU IP，包括 Milestone 2 RISC-V Vector Core 支持，以超低功耗 MCU 封装提供 400 GOPS 算力，面向电池供电的可穿戴设备和工业传感器节点。
全新 Synaptics Coralboard SR 亮相：全新的 Coralboard SR 开发套件由 Astra SR200 系列驱动，专为 MCU 级 Edge AI 和 Physical AI 应用的快速原型开发而设计。
Synaptics Coralboard SL 正式全面上市（GA）：继 Google I/O 上的限量预览后，Coralboard SL 现已通过 DigiKey 在全球全面上市，SDK 和文档可在 Synaptics Coralboard Developer 页面获取。它搭载 Astra SL2619 处理器，内置 1 TOPS 的 Torq™ / Coral NPU 子系统，为基于 Linux 的 IoT 和机器人应用提供 transformer 与多路视觉处理加速。
由于这两个产品系列建立在相同的架构与编译器基础之上，ML 团队只需优化一次模型，就能使用同一套工作流，将其部署到毫瓦级可穿戴设备（Coralboard SR）或 1 TOPS 开发板（Coralboard SL）。Coralboard 产品线由我们与硬件及 System-on-Module 合作伙伴 Grinn 联合开发，也为团队提供了从开发套件原型验证直接走向商业量产硬件的路径。
随着 32 位架构和 v1.0 编译器栈就绪，我们已经开始推进路线图的下一阶段，包括 64 位 Coral NPU 架构，以及用于增强安全性的 CHERI 支持。
无论你是在设计定制边缘 SoC、开发 ML 编译器，还是将模型部署到可穿戴设备和机器人上，Coral NPU 都能为你提供一条从模型通向芯片的开放路径。你可以从以下几个地方开始：