LLM 模型剪枝实战：推理加速与准确度权衡

剪枝基础：结构化、非结构化和半结构化稀疏性

剪枝策略根据移除的内容分为三类。

非结构化稀疏性将单个权重置零。它可以实现很高的压缩率，但标准 GEMM 核心不会加速不规则稀疏矩阵，所以现实中的延迟改进往往需要 DeepSparse 这样的专门推理引擎或自定义 CUDA 核心。

结构化稀疏性移除整个注意力头、层或通道。它能整洁地映射到密集张量操作，提供立竿见影的吞吐量提升，但对于给定的压缩比，通常会导致较大的精度下降。

半结构化稀疏性（常见的是 2:4 稀疏性）在每四元素块中保留两个非零权重。NVIDIA Ampere 及更新的 Tensor Core 原生支持通过稀疏 tensor core 的 2:4 结构化稀疏性，在压缩和硬件效率之间提供了实用的折中。

现代剪枝算法

最近的研究已超越简单的权重幅度剪枝，后者移除绝对值最小的权重。当今 LLM 剪枝主要由两种方法主导。

Wanda（通过权重和激活进行剪枝）使用权重幅度和输入激活范数的逐元素乘积来剪枝权重。它不需要重新训练，可以在校准数据的单次前向传播中应用，这对大规模模型很有吸引力。

SparseGPT 和 LLM-Pruner 通过重构层输出来最小化失真，扩展了单次剪枝。这些方法使用 Hessian 信息或无梯度重构来恢复精度，无需完整微调。

剪枝后，通常应用 INT8 或 INT4 量化以进一步降低内存带宽。稀疏性和量化的组合是实现最强推理加速的地方。

PyTorch 中的实际 Wanda 示例

以下代码片段演示了小型 Transformer 查询投影上的最小化 Wanda 风格剪枝。它以 Qwen2.5-0.5B-Instruct 模型作为轻量级参考，但该模式适用于 Llama、Mistral 和其他 GPT 风格架构。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen2.5-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype=torch.float16, device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# Calibration prompts representative of your workload
calib_prompts = [
    "The quick brown fox jumps over the lazy dog.",
    "Oxlo.ai provides flat per-request pricing for LLM inference.",
]
inputs = tokenizer(calib_prompts, return_tensors="pt", padding=True).to(model.device)

# Capture input activations to the target layer
activations = {}

def make_hook(name):
    def hook(module, input, output):
        activations[name] = input[0].detach()
    return hook

layer = model.model.layers[0].self_attn.q_proj
handle = layer.register_forward_hook(make_hook("q_proj"))

with torch.no_grad():
    model(**inputs)

handle.remove()

# Wanda: prune 20 % of weights with smallest |W| * activation_scale
W = layer.weight.data
# Average activation magnitude across batch and sequence dimensions
act = activations["q_proj"].abs().mean(dim=(0, 1))
scores = W.abs() * act.unsqueeze(0)
k = int(0.20 * scores.numel())
threshold = torch.kthvalue(scores.view(-1), k).values
mask = scores > threshold

layer.weight.data *= mask
print(f"Pruned 20% of q_proj. Remaining density: {mask.float().mean():.2%}")

这个示例产生非结构化稀疏性。要实现加速，你必须将掩码转换为 2:4 半结构化格式或使用稀疏推理引擎。不进行硬件感知的格式转换，模型将占用相同的密集足迹并以相同的延迟运行。

评估精度和速度

剪枝是有代价的。部署前你应该在三个维度上进行验证。

困惑度。在领域匹配的语料库（如 WikiText-103）或自己日志的样本上测量困惑度。困惑度的激增预示下游性能降级。

任务精度。为基础模型运行 HellaSwag 或 ARC-Easy 之类的零样本基准，或为指令微调变体运行自己的评估套件。如果精度下降超过可接受阈值，考虑用 LoRA 进行恢复微调。

延迟和吞吐量。用 TensorRT-LLM、vLLM 或稀疏核心后端进行端到端生成的性能分析。非结构化稀疏性很少能加速标准密集核心，所以要在你打算在生产中运行的确切堆栈上进行基准测试。

生产推理：剪枝 vs 托管平台

剪枝是一种宝贵的研究工具，但为生产流量维护自定义稀疏核心、校准流水线和恢复微调是一项重大的平台工程负担。如果你的主要目标是在不管理 GPU 集群或编写 CUDA 核心的情况下降低推理成本和延迟，托管推理平台往往是更务实的路径。

Oxlo.ai 提供开发者友好的 AI 推理平台，采用按请求统一定价。与基于令牌的提供商不同，你的成本不会随输入长度扩展，这消除了驱使许多团队手工优化模型的令牌计数焦虑。Oxlo.ai 托管 45+ 开源和专有模型，包括高效 MoE 架构如 DeepSeek V4 Flash 和 DeepSeek V3.2，它们提供强大性能而无需你维护自定义剪枝堆栈。集成完全兼容 OpenAI SDK。

import openai

client = openai.OpenAI(
    base_url="https://api.oxlo.ai/v1",
    api_key="YOUR_OXLO_API_KEY"
)

response = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Explain semi-structured sparsity."}]
)
print(response.choices[0].message.content)

对于仍需运行自定义剪枝或微调权重的团队，Oxlo.ai 的企业级服务提供专用 GPU 和自定义定价。在大多数情况下，高效模型架构、基于请求的定价和无冷启动的组合，使 Oxlo.ai 成为比构建内部稀疏推理流水线更简单且更可预测的替代方案。你可以在 https://oxlo.ai/pricing 比较计划。

模型剪枝可以缩小 LLM 规模并降低推理成本，但实际收益高度取决于稀疏性模式、硬件支持和恢复微调。非结构化方法提供最高压缩，而半结构化 2:4 稀疏性为现代 NVIDIA GPU 上的真正加速提供了最清晰的路径。在提交自定义剪枝流水线前，对照优化的托管模型对你的工作负载进行基准测试。Oxlo.ai 之类的平台提供高效、开箱即用的推理，具有可预测的基于请求的定价，让你能专注于应用逻辑而不是核心工程。