边缘设备部署LLM实战：量化、选型与混合架构

理解边缘设备约束

边缘设备的范围很广，从配备 8GB 内存的 Raspberry Pi 5，到配备 64GB 内存的 NVIDIA Jetson AGX Orin 开发板。完整精度的 Llama 3 8B 模型大约需要 16GB VRAM，这直接排除了大多数嵌入式系统。量化是必不可少的。INT4 和 INT8 格式（包括 GGUF 和 ONNX 变体）可以将 7B 参数模型压缩到 4-6GB。即便如此，仅使用 CPU 的节点上推理速度通常低于每秒 5 个 token。你必须决定什么在本地运行，什么不在本地运行。

模型选择与量化

对于边缘部署，参数数量比跑分排名更重要。Qwen 2.5 7B、Llama 3.1 8B 和 Gemma 3 4B 等模型是常见的起点。使用 llama.cpp 进行跨平台 CPU 和 GPU 推理，或使用 ONNX Runtime 在 ARM 和 x86 边缘节点上进行优化执行。在 Apple Silicon 上，MLX 提供统一内存的高效推理。

示例：使用 llama.cpp 通过 Python 在本地运行量化模型。

from llama_cpp import Llama

# 加载一个 4-bit 量化的 Qwen 2.5 7B Instruct
llm = Llama(
    model_path="./qwen2.5-7b-instruct-q4_k_m.gguf",
    n_ctx=4096,
    n_threads=4,
    verbose=False
)

output = llm.create_chat_completion(
    messages=[{"role": "user", "content": "Summarize this sensor log."}]
)
print(output["choices"][0]["message"]["content"])

如果你的边缘硬件连 7B 模型都跑不动，可以考虑 3B 以下的选项，如 Phi-3 Mini 或 Qwen 2.5 3B。它们牺牲了推理深度，但对于分类和提取任务仍能保持响应速度。

部署框架与工具链

以下几个框架主导着边缘 LLM 部署：

llama.cpp：通用主力。支持 GGUF、CPU/GPU 混合卸载，运行于 Linux、macOS、Windows 和 iOS。

Ollama：将 llama.cpp 封装成简洁的 CLI 和 REST API。适合在边缘网关快速原型验证。

ONNX Runtime：当需要针对特定 NPU 或 DSP（如 Qualcomm Hexagon 或 Intel Movidius）时表现最佳。

TensorRT-LLM / TensorRT：在 NVIDIA Jetson 和独立边缘 GPU 上最大化吞吐量的必备工具。

vLLM：适用于有多 GPU 的微型数据中心边缘集群，尽管其内存开销较高。

对于容器化的边缘集群，用 Docker 打包这些运行时，通过 K3s 或类似的轻量级 Kubernetes 发行版进行编排。

混合云边架构

最具弹性的架构将边缘推理视为缓存，而非云端智能的替代品。本地模型处理低延迟、高频查询以及 PII 敏感的预处理。当任务需要长上下文分析、多步 agent 推理或大型多模态输入时，边缘节点应将请求转发至云端。云端模型返回结构化结果后，边缘节点可进行后续处理或缓存以备离线使用。