AMD收购Taalas将AI模型直接刻入芯片

AMD 收购加拿大 AI 创业公司 Taalas，后者致力于将 AI 模型直接烘焙进硅芯片。Taalas 于 2023 年在多伦多创立，今年 2 月正式走出隐匿模式，采用了一种非同寻常的技术路径：公司将模型的架构和已训练参数直接嵌入芯片之中。这一做法使得推理速度极快，但代价是每块芯片只能绑定单一模型。一款演示芯片在使用 Llama 3.1-8B 时实现了每用户每秒超过 16000 tokens 的吞吐量，远超竞品硬件数倍之多。据报道，Google 也在为 Gemini 开发一款类似的芯片。

Taalas 演示芯片将 Llama 硬编码其中，在原始推理速度上碾压所有其他推理芯片，但只能运行这一款模型。| 图片来源：Taalas

AMD 计划将这项技术整合进其加速器路线图，并将其与 Instinct GPU 搭配作为系统级解决方案对外提供。AMD AI 部门高级副总裁 Vamsi Boppana 表示，这笔交易强化了公司的 AI 产品组合。Taalas 联合创始人 Ljubisa Bajic 则表示，AMD 提供了该创业公司所需的规模和覆盖范围。本次收购仍需经过常规监管审批。