模型压到4位,精度为何仍能保住
文章从仿射量化的缩放、零点和反量化公式切入,解释低精度权重如何减少模型存储与推理资源需求。文中称部分4位模型的基准表现接近高精度版本,但具体精度损失仍需结合模型和任务评估。
AI 深度解读
把模型权重从 32 位压到 4 位,为什么没有把能力一起压没?原文给出的解释是:神经网络并不依赖每个权重都精确无误,许多舍入误差可以被容忍,而分组量化又能把有限的精度用在更合适的位置。
对准备部署本地模型、给 AI 编程工具选推理方案的开发者,这套思路很有用。不过,原文把部分直觉写成了普遍结论,示例代码的解释也有问题。读懂量化,需要分清三件事:权重省了多少空间、任务效果掉了多少,以及硬件究竟能不能跑得更快。
4 位只有 16 个取值,为什么还能保住效果
量化(Quantisation)把浮点权重映射到有限的整数编码,再通过缩放参数还原近似值。8 位有 256 个编码,4 位只有 16 个。
原文介绍的是仿射量化:用缩放因子 s 决定相邻取值的间距,用零点 z 调整整数编码与实数零的位置关系。它给出的尺度公式是:
s = (w_max - w_min) / (2^b - 1)
这里的 b 是位宽。区间越大、位数越少,格子就越粗。原文中整数映射、反量化和误差方差的公式缺失,因此不能把这部分当成完整的数学推导。
两项选择决定这些格子怎么铺。
第一项是对称还是非对称。对称量化设置 z = 0,正负值共用尺度,硬件处理简单;非对称量化允许非零零点,更适合偏向一侧的分布。
第二项是量化粒度。整个张量共用一个尺度,容易让少数极大值拉宽区间,普通权重只能挤在几个格子里。按通道或每 128 个权重分组计算尺度,可以让局部区间贴近局部数据。
同样是 4 位,尺度覆盖哪些权重,往往比「4 位」这个标签更能解释效果差异。
原文给出了三个解释,说明粗一些的权重仍可能保留模型能力:小幅舍入误差可能部分抵消;网络存在冗余,部分权重变化对损失影响很小;权重是否重要,取决于它实际参与计算后怎样影响输出。
这些解释能帮助建立直觉,但都有前提。误差未必独立,量化扰动也未必均匀落在损失函数的平坦方向。更不能仅凭层很宽,就推导出输出相对误差一定很小。
权重量化容易,为什么激活量化更难
权重在推理期间相对稳定,方便提前统计范围。激活值则随输入变化,Transformer 某些通道的激活可能比其他通道大数百倍。
如果整个激活张量共用一个尺度,少数离群值就会占据大部分表示范围,普通值被挤到少量编码里。这是原文解释「朴素 8 位激活量化也可能失败」的关键。
它列出的三种方法,都在处理误差分布不均的问题,但处理位置不同:
- SmoothQuant 在量化前重新缩放通道,把一部分激活量化难度转移到权重上,利用线性层输入与权重可以配对缩放的性质。
- AWQ 利用激活信息识别敏感权重,重点保护与大激活相关的部分。原文将其概括成「保留更高精度」,这个说法容易让人误以为 AWQ 必然混用不同存储位宽;更稳妥的理解是,它会优先降低这些权重的量化误差。
- GPTQ 逐列量化权重,再利用 Hessian 的二阶信息,调整尚未量化的权重,补偿已经引入的误差。
它们共同关心的是:哪些误差真正会伤害输出。只看权重本身差了多少,还不足以判断模型效果。
在流程上,原文建议先尝试训练后量化(PTQ)。模型训练完后,用一小批校准数据确定量化参数,无需重新训练整个模型。
如果目标位宽更激进,例如 4 位激活、2 位权重,再考虑量化感知训练(QAT)。QAT 在训练前向过程中模拟量化,让网络适应舍入误差;反向传播则用直通估计器(STE),把舍入操作近似当作恒等映射传递梯度。
这个建议有实际价值:先验证成本较低的方案,效果不满足需求,再承担重新训练的成本。
这段实验能演示量化,却证明不了误差会大幅缩小
作者用下面的 PyTorch 代码,演示一个线性层的 4 位分组伪量化:
import torch
torch.manual_seed(0)
W = torch.randn(512, 512) * 0.05 # 一个典型的权重矩阵
x = torch.randn(64, 512) # 一批输入
def quantize_groupwise(W, bits=4, group=128):
Wg = W.view(-1, group)
wmin, wmax = Wg.min(dim=1, keepdim=True).values, Wg.max(dim=1, keepdim=True).values
qmax = 2 ** bits - 1
s = (wmax - wmin) / qmax
q = torch.round((Wg - wmin) / s).clamp(0, qmax)
return (q * s + wmin).view_as(W)
Wq = quantize_groupwise(W)
y, yq = x @ W.T, x @ Wq.T
rel_err = (yq - y).norm() / y.norm()
print(f"Weight error: {(Wq - W).norm() / W.norm():.4f}")
print(f"Output error: {rel_err:.4f}")
要看的是 return (q * s + wmin).view_as(W):它返回的是还原后的浮点权重。因此这段代码模拟了精度损失,没有实现 4 位打包存储,也没有测试低位宽推理内核。
作者声称,权重误差有几个百分点,而输出误差会因为 512 个输入上的误差抵消而小得多。但原文没有贴出运行结果,也没有提供全局尺度对照。
更关键的是,这个解释对示例中的随机输入并不成立。设权重误差为 E = Wq - W,输入是独立标准正态变量,则输出误差能量的期望与 E 的平方范数成正比,原输出能量的期望也与 W 的平方范数成正比。两边都会随输入维度增长,输出相对误差通常应与权重相对误差接近,不能只靠「误差抵消」解释成明显更小。
真实模型可能对这些扰动不敏感,但需要任务评测证明。单层输出误差、完整模型的基准分数、代码生成是否正确,是不同层面的指标。
另外,这个简化函数没有处理分组内最大值等于最小值的情况,此时 s 为零;权重元素总数也必须能被 group=128 整除。它适合帮助理解过程,不能直接充当生产量化实现。
我的判断
我认同原文强调的优先级:先关注分组粒度、离群值和校准数据,再讨论能否继续压低位宽。相比全张量统一尺度,这些方法更贴近真实数据的分布差异。
但原文几处数字需要保留问号。
32 位降到 4 位,权重编码本身的理论体积确实变为八分之一;实际模型还要存尺度、零点等信息。原文同时说「内存带宽减半」,却没有交代测量对象,也没有给出推导。结尾的「快数倍」同样缺少硬件、推理引擎和负载条件。
「4 位模型通常只差一两个基准分数」也没有附带模型名单、基准名称或对照结果,只能看作作者的经验性概括,不能作为选型承诺。
权重占用更小、运行更快、任务准确率接近,是三项需要分别验证的结果。
原文提醒深层网络和长生成过程可能积累误差,这个方向合理,但「每层 1%、共 100 层」只是示意,不能直接按层数累乘。它关于「4 位模型不能继续微调」的表述也过于绝对:固定整数权重确实无法直接承接任意小更新,但不能据此推导所有低位权重训练方案都不可行。
对国内程序员而言,最容易被低估的反而是校准数据。用通用文本校准,再部署到代码生成场景,可能无法覆盖真实激活范围。与其只盯着量化文件名,不如先确认它怎样处理了你的工作负载。
能拿来做什么
- 给 AI 编程助手或本地代码模型选方案时,先试 PTQ,并用真实代码补全、修复和生成任务比较原模型与量化模型。除了基准分数,还要看输出代码能否通过项目已有的类型检查和测试。
- 准备校准数据时,覆盖实际会输入的代码语言、框架、提示词和上下文形式。如果主要处理前端项目,就让样本包含真实组件和项目代码。
- 在 Node 服务接入推理引擎前,确认目标硬件与引擎支持对应的 4 位格式及计算内核,再测显存占用、延迟和吞吐。上面的浮点伪量化实验无法回答部署速度问题。
- 只有当 PTQ 的任务效果不达标,或者必须尝试更低位宽时,再评估 QAT。先确定可接受的效果损失,才能判断重新训练是否划算。