用 Rust 在 CPU 上运行多种小模型

一篇 dev.to 文章尝试用 Rust 和 Hugging Face 的 Candle 框架，构建在普通 CPU 上运行小语言模型（SLM）的命令行工具，把作者此前针对 Phi-3 的实验扩展到 Gemma、Qwen 和 Phi 系列。方案围绕量化 GGUF 模型展开，但现有节选没有展示完整实现和实测结果，距离证明可用于生产还有证据缺口。

目前能确认什么

节选给出了项目依赖和部分 Rust 代码：推理设备指定为 CPU，通过命令行参数选择模型，并分别配置模型仓库、权重文件、分词器和对话模板。权重与分词器通过 hf-hub 获取。

GGUF 是本地推理常见的模型文件格式。量化通常能降低权重存储和内存需求，但运行内存还包括推理缓存等开销，不能只看模型文件大小。不同模型的对话模板也会影响输入能否被正确理解。

作者提出用内存占用、冷启动延迟和生成速度评估部署成本。目前提供的材料里，没有这些指标的实测数值。 文中对各模型能力和速度的评价，也没有附上对应测试。

我的判断

对想把推理嵌入现有服务、减少部署依赖的程序员，这条路线有参考价值。去掉 Python 和 CUDA，可以减少需要维护的运行环境；但生成速度仍取决于模型、输入长度和 CPU 等条件，不能由 Rust 直接推导出来。

更需要核对的是模型兼容性。节选把 Gemma、Qwen、Phi 分别接到不同模型实现上，但枚举分支和文件路径只能说明接入意图，不能证明对应架构已被正确支持。尤其是 Gemma 分支使用了 quantized_llama，其兼容依据需要完整代码和框架文档确认。

我会先把它看作待验证的工程方案。 判断能否部署，至少还缺完整代码是否跑通、测试硬件与输入条件，以及冷启动是否包含模型下载这些信息。