谷歌继亚马逊之后推出开发工具,帮助 PyTorch 用户将应用从英伟达 GPU 迁移到其他硬件平台。
周二,Google 宣布,外界期待已久的 PyTorch 版本 TorchTPU 正式作为开源项目发布。至此,Google 加入了 Amazon 的行列,试图打破 Nvidia 对 AI 行业的牢牢掌控。在这个行业里,大多数 AI 应用在开发时,默认就是要在 Nvidia 的芯片,也就是 GPU 上运行的。
PyTorch 是一套广受欢迎的开源工具包,AI 应用开发者和初创公司用它来构建、训练和运行 AI 模型。据一些统计,85% 的 AI 应用都在使用 PyTorch。PyTorch 最初由 Meta(当时还叫 Facebook)于 2016 年开发,那时人们还远未意识到 LLM 将改变世界。当时,Nvidia 的 GPU 已经是 AI 研究的标准硬件,因此 PyTorch 的许多功能都是专门围绕这些 GPU 构建的。2022 年,Meta 将 PyTorch 移交给 Linux Foundation,这家非营利组织管理着许多重要的开源项目。
Google 推出的 TorchTPU,让 AI 应用能够在 Google 的 AI 芯片 Tensor Processing Units(TPU)上运行。它也让现有 PyTorch 应用可以轻松迁移到 TPU,进而迁移到 Google Cloud。开发者只需简单修改配置,无须重写应用。
Amazon 在周一发布了类似消息,推出了自己的 PyTorch 版本 TorchNeuron。TorchNeuron 允许开发者将 AI 应用迁移到 Amazon 自研的 AI 芯片 Trainium 和 AWS,同样无须重写代码。Amazon 还表示,为了削弱 Nvidia 对 PyTorch 的掌控,它正在更进一步:向 PyTorch 主项目提交代码,将各项功能与 Nvidia 芯片解耦,让 PyTorch 默认就能更开放地支持各种硬件。
不过,Google 在几个方面可能更胜 Amazon 一筹。Google 表示,它直接与 Meta、Hugging Face、Inferact(vLLM 的开发商)、RadixArk(SGLang 的开发商)等公司合作,确保 TorchTPU 的功能和代码库能够像原版 PyTorch 一样,与这些流行的 AI 开发工具良好配合。
此外,这家搜索巨头还推出了专门的工具 TPU agent suite,帮助开发者将应用迁移到 Google 的芯片和云平台,并修复迁移过程中出现的错误。它甚至更新了广受欢迎的 LiteRT 工具,让它更好地支持 PyTorch AI 应用。LiteRT 用于在手机、笔记本电脑和嵌入式设备上运行 AI。
这些举措并不意味着,AI 应用开发者只因现在可以轻松迁移到其他芯片和云平台,就会自动大规模放弃 Nvidia 的硬件。但显然,Amazon 和 Google 正在努力终结 Nvidia 的这一优势。