Safetensors 模型格式正式入选 PyTorch 基金会

Safetensors 最初是 Hugging Face 的一个项目，源于一项具体需求：需要一种无法执行任意代码的模型权重存储与共享方式。当时，基于 pickle 的格式在整个生态系统中占据主导地位，这意味着运行恶意代码的风险确实存在。在 ML 尚处于萌芽阶段时，这种风险或许还可以接受；但随着开放模型共享成为 ML 社区协作方式的核心，这种风险将变得不可接受。

我们构建的格式刻意保持简单：首先是一个上限为 100MB、用于描述 tensor 元数据的 JSON header，随后是原始 tensor 数据。它支持 zero-copy 加载，可以直接将磁盘数据映射为 tensor；也支持 lazy loading，无需反序列化整个 checkpoint，就能读取单独的权重。

我们没有完全预料到的是，它的采用范围会如此广泛。如今，Safetensors 已成为 Hugging Face Hub 及其他平台分发模型时的默认格式，被涵盖所有 ML 模态的数万个模型使用。它已经成为开源 ML 社区共享模型的首选方式。

为什么选择 PyTorch Foundation

我们希望 Safetensors 真正属于社区。这个项目一直都是开源的，但代码贡献只是推动其演进的一部分。通过让更多公司和贡献者参与项目治理，我们可以确保项目的发展能够体现整个社区的广泛需求——正是这个社区在 Safetensors 之上构建各种应用。

加入 PyTorch Foundation，意味着 Safetensors 现在拥有了一个厂商中立的归属。项目的商标、repository 和治理权归属于 Linux Foundation，而非任何一家企业。Hugging Face 的两位核心 maintainer Luc 和 Daniel 将继续留在 Technical Steering Committee 中，并继续负责项目的日常领导工作；但从现在开始，Safetensors 在正式意义上属于依赖它的整个社区。

我们相信，只有每一位贡献者都能在现有成果之上继续建设，安全才能得到最好的保障。如今，这一原则也已经被写入项目自身的治理机制。

这对用户和贡献者意味着什么

对于绝大多数用户来说，一切都不会改变。格式不变、API 不变、Hub integration 也不变：不会有 breaking changes。今天以 Safetensors 格式存储的模型，今后仍将与现在完全一样正常运行。

对于贡献者来说，成为 maintainer 的路径现在已经有了正式文档，并向社区中的任何人开放。项目的治理规则位于 repository 中的 GOVERNANCE.md 和 MAINTAINERS.md。对于在 Safetensors 之上构建产品或服务的组织而言，Linux Foundation 旗下的中立治理机制提供了一个稳定、长期且完全由社区驱动的基础。

Safetensors 已经是一个成熟且得到整个生态系统广泛采用的项目，但我们依然相信，这个项目才刚刚起步。

我们正在与 PyTorch 团队合作，推动 Safetensors 进入 PyTorch core，成为 torch 模型的 serialization system。

未来几个月，Safetensors 将迎来显著发展，而对于开启下一篇章，我们想不到比 PyTorch Foundation 更合适的归属。接下来的 roadmap 包括支持 device-aware 的加载与保存，让 tensor 可以直接加载到 CUDA、ROCm 以及其他 accelerator 上，无需经过不必要的 CPU staging。

我们还在构建面向 Tensor Parallel 和 Pipeline Parallel 加载的 first-class API，让每个 rank 或 pipeline stage 只加载自身需要的权重。随着生态系统中的 quantization 技术持续演进，我们也将正式确立对 FP8、GPTQ 和 AWQ 等 block-quantized 格式，以及 sub-byte integer 类型的支持。

这些问题关系到整个生态系统的共同利益。加入 PyTorch Foundation 后，我们可以与 Foundation 托管的其他项目协作解决这些问题，而不是各自并行推进。

Safetensors 是开源项目，欢迎各种层面的贡献，无论是提交 bug report、完善文档、开发新功能，还是参与项目治理。

GitHub：github.com/huggingface/safetensors

文档：huggingface.co/docs/safetensors

PyTorch Foundation：pytorch.org/foundation

如果你是基于 Safetensors 构建项目的开发者、研究人员或组织，并希望更深入地参与、共同塑造项目的发展方向，可以提交 issue、发起 discussion，或直接联系 maintainer。这个项目始终属于使用它的社区。如今，它的治理机制也终于体现了这一点。

博客中的更多文章

在任意云上运行 AI workload，并将数据存储在 Hugging Face：通过 SkyPilot 实现 zero-egress storage

Hugging Face 与 Cerebras 携手将 Gemma 4 引入实时语音 AI

现在是否会采取一致行动，推动较新以及较早的 LLM 模型采用更安全的 Safetensors 格式，而不是继续允许 AI 开发者像过去那样使用 pickle 文件？对于开发者而言，如果不迁移到 Safetensors 格式，可能存在哪些理由或顾虑？

· 注册或登录后发表评论