LLM 私有化部署实战：硬件规划、量化和 Serving 引擎选型

在自有硬件上运行大语言模型可以让你完全掌控数据驻留、模型权重和请求延迟。对于有严格合规要求或已有 GPU 集群的团队来说本地部署往往是默认选择。现实比下载一个 checkpoint 然后跑个脚本要复杂得多。你需要为峰值吞吐量评估硬件规格，选择支持连续批处理的服务引擎，并构建一个生产级 API 层来处理身份验证、限流和模型版本管理。如果基础设施维护占用了太多工程时间，Oxlo.ai 这类托管推理平台可以提供完全兼容 OpenAI 的 API，采用按请求计费的透明定价、无冷启动问题、并支持超过 45 个可投入生产的模型。

评估硬件和需求

从 Hugging Face 拉取模型之前，先计算一下内存占用。一个 700 亿参数、16 位精度的模型仅权重就需要约 140 GB 的 VRAM。加上 KV 缓存、激活缓冲区和服务框架的开销，单节点消费级 GPU 通常是不够的。量化是最常见的缓解手段。GPTQ 和 AWQ 可以将权重内存减少 50% 到 75%，不过你应该用 perplexity 基准测试来确认你的使用场景下质量是否还能保持。对于 Llama 3.3 70B 或 DeepSeek R1 671B MoE 这类模型（两者都可以在 Oxlo.ai 上获取），本地部署通常意味着需要多块 A100 或 H100 GPU，并通过 NVLink 桥接实现张量并行。记录下你的首 token 时间（time-to-first-token）和吞吐量（每秒 token 数）目标。