返回专栏
· 26 分钟阅读

模型量化:INT8、INT4 与低精度计算


一、什么是模型量化?

模型量化(Model Quantization)是将模型中的高精度数值映射为低精度数值的技术。

在深度学习模型中,权重、激活值和中间计算结果通常使用 FP32、FP16 或 BF16 表示。

例如,一个 FP32 参数占用 4 字节:

FP32: 0.123456789
FP16: 0.1235
INT8:  31
INT4:   7

量化的核心目标是:

  • 降低模型权重的存储空间。
  • 减少 GPU 显存占用。
  • 降低权重读取带宽需求。
  • 利用低精度硬件指令提高计算吞吐量。
  • 降低模型部署成本。
  • 在可接受的精度损失范围内提高推理效率。

需要明确:量化不仅是缩小数据类型,更是一个涉及数值映射、误差控制、计算内核和硬件执行的系统工程。

1.1 为什么大模型需要量化?

大模型的参数量非常大,模型权重通常是推理部署中的重要显存开销。

假设一个模型有 70B 参数:

数据类型 单参数理论存储 权重理论占用
FP32 4 Bytes 280 GB
FP16 2 Bytes 140 GB
BF16 2 Bytes 140 GB
FP8 1 Byte 70 GB
INT8 1 Byte 70 GB
INT4 0.5 Byte 35 GB

以上为十进制单位下的理论权重大小,不包含量化 Scale、Zero Point、对齐填充、运行时工作区和 KV Cache 等开销。

从表格可以看出:

  • FP16 相比 FP32,权重存储减少约 50%。
  • INT8 相比 FP16,理论权重存储减少约 50%。
  • INT4 相比 FP16,理论权重存储减少约 75%。

这意味着原本需要多张 GPU 才能部署的模型,在量化后可能能够放入更少的 GPU,甚至单卡运行。

1.2 量化的三个主要对象

模型量化通常涉及三类数据。

对象 含义 量化目的
Weight Quantization 权重量化 减少模型参数存储
Activation Quantization 激活值量化 降低中间张量的存储与计算开销
KV Cache Quantization KV Cache 量化 减少长上下文推理的缓存显存

三者的量化难度不同。

权重通常在模型部署前已经确定,可以提前统计分布并完成量化。

激活值依赖输入数据,分布可能随着请求变化,需要使用校准数据、动态统计或特殊量化方法。

KV Cache 则随着生成过程持续增长,其量化还需要考虑 Attention 对历史 Key、Value 精度的敏感性。


二、数值精度基础:FP32、FP16、BF16、FP8 与 INT

理解量化,首先需要理解不同数值格式的表示方式。

2.1 浮点数的基本结构

IEEE 754 浮点数通常由三个部分组成:

  • Sign:符号位。
  • Exponent:指数位。
  • Mantissa:尾数位,也称 Fraction。

浮点数可以抽象表示为:

x=(-1)^s \times 2^{e-bias} \times (1+m)

其中:

  • s:符号位。
  • e:指数编码。
  • bias:指数偏移量。
  • m:尾数部分。

指数位决定数值范围,尾数位决定数值精度。

指数位越多,通常能够表示更大的动态范围。

尾数位越多,通常能够表示更细致的数值变化。

2.2 常见浮点格式

格式 总位数 指数位 尾数位 特点
FP32 32 8 23 精度高、范围较大
FP16 16 5 10 存储小,但动态范围较窄
BF16 16 8 7 动态范围接近 FP32
FP8 E4M3 8 4 3 精度相对较高,范围较小
FP8 E5M2 8 5 2 范围较大,精度较低

FP8 常见两种格式:

  • E4M3:4 位指数、3 位尾数,通常更适合对精度要求较高的计算。
  • E5M2:5 位指数、2 位尾数,通常具有更大的动态范围。

实际 FP8 格式还存在特殊编码、指数偏移和有限值约定,不能仅根据指数位和尾数位推断全部数值范围。

2.3 整数格式

INT8 和 INT4 属于定点整数表示。

格式 位数 有符号整数范围
INT8 8 -128 到 127
INT4 4 -8 到 7
INT2 2 -2 到 1

整数本身没有浮点指数和尾数。

它只能表示有限数量的离散数值,因此需要通过 Scale 和 Zero Point 将浮点数映射到整数空间。

2.4 FP16 与 INT8 的区别

FP16 和 INT8 都是 16 位以下的低精度表示,但两者的数值结构完全不同。

FP16:

  • 使用浮点表示。
  • 具有指数和尾数。
  • 可以表示不同数量级的数值。
  • 通常可以直接参与浮点矩阵运算。

INT8:

  • 使用整数表示。
  • 需要 Scale 和 Zero Point 建立数值映射。
  • 数值范围有限。
  • 通常需要整数乘加或量化计算内核。

因此,INT8 并不是简单地把 FP16 截断为 8 位。


三、线性量化的数学原理

线性量化是 INT8、INT4 等整数权重量化中最基础的方法。

它通过一个线性映射,将浮点数映射到有限范围的整数。

3.1 Quantization:量化公式

最常见的仿射量化(Affine Quantization)可以表示为:

q=\operatorname{clip} \left( \operatorname{round}\left(\frac{x}{s}\right)+z, q_{\min},q_{\max} \right)

其中:

  • x:原始浮点数。
  • q:量化后的整数。
  • s:Scale,缩放因子。
  • z:Zero Point,零点偏移。
  • q_{\min}:整数最小值。
  • q_{\max}:整数最大值。
  • round:取整操作。
  • clip:截断到合法整数范围。

反量化公式:

\hat{x}=s(q-z)

其中 \hat{x} 是量化后恢复出来的近似浮点值。

注意:反量化并不能恢复原始数值,只能恢复量化后的近似值。

3.2 Scale 的计算

对于非对称量化,如果浮点数据范围为:

x\in[x_{\min},x_{\max}]

整数范围为:

q\in[q_{\min},q_{\max}]

Scale 通常计算为:

s=\frac{x_{\max}-x_{\min}} {q_{\max}-q_{\min}}

Zero Point:

z=\operatorname{round} \left( q_{\min}-\frac{x_{\min}}{s} \right)

实际实现通常还会对 Zero Point 做整数范围裁剪。

3.3 对称量化

对称量化(Symmetric Quantization)通常令 Zero Point 为 0。

对于有符号整数:

s=\frac{\max(|x_{\min}|,|x_{\max}|)} {q_{\max}}

量化公式:

q=\operatorname{clip} \left( \operatorname{round}\left(\frac{x}{s}\right), q_{\min},q_{\max} \right)

反量化:

\hat{x}=sq

对称量化的优势:

  • 不需要额外的 Zero Point。
  • 整数矩阵乘法更容易优化。
  • 计算过程相对简单。
  • 适合很多权重张量。

但如果数据分布明显偏离零点,对称量化可能无法充分利用整数表示范围。

3.4 量化计算示例

假设权重范围为:

x\in[-1,1]

使用对称 INT8 量化,取:

q_{\max}=127

那么:

s=\frac{1}{127} \approx 0.007874

原始权重:

x=0.5

量化结果:

q=\operatorname{round}(0.5\times127) =64

反量化:

\hat{x}=\frac{64}{127} \approx0.50394

量化误差:

e=x-\hat{x} \approx-0.00394

这就是量化带来的数值误差。

3.5 量化误差从哪里来?

主要来源包括:

  1. 取整误差:浮点数映射到离散整数时产生误差。
  2. 截断误差:超出量化范围的数值被裁剪。
  3. 参数估计误差:Scale 和 Zero Point 不够准确。
  4. 分布偏移:校准数据与真实推理数据不一致。
  5. 累积误差:多层量化计算产生的误差逐层传播。

其中,截断误差通常比普通取整误差更加严重。

例如,某个权重为 12,但量化范围只能表示到 1,那么该值会被裁剪,反量化后仍然只能得到接近 1 的数值。


四、量化粒度:Per-Tensor、Per-Channel 与 Group-wise

量化不仅要选择 INT8 或 INT4,还需要决定 Scale 的作用范围。

量化粒度(Quantization Granularity)直接影响量化误差、元数据开销和计算效率。

4.1 Per-Tensor Quantization

Per-Tensor 是整个张量共享一个 Scale 和 Zero Point。

例如,一个权重矩阵:

W\in\mathbb{R}^{4096\times4096}

所有元素共享同一组量化参数。

优点:

  • 参数开销最低。
  • 实现简单。
  • 容易使用高性能矩阵计算内核。

缺点:

  • 不同通道的数值分布可能差异很大。
  • 极端值可能压缩其他元素的有效量化范围。
  • INT4 下精度损失可能明显。

4.2 Per-Channel Quantization

Per-Channel 为每个输出通道独立计算 Scale。

对于线性层:

Y=XW^T

假设:

W\in\mathbb{R}^{N\times K}

其中:

  • N:输出维度。
  • K:输入维度。

可以为每个输出通道分配独立的 Scale:

s_1,s_2,\ldots,s_N

这样能够更好地适应不同输出通道的权重分布。

优点:

  • 通常比 Per-Tensor 更准确。
  • 能降低通道间数值分布差异带来的误差。
  • 适合很多 INT8 权重量化场景。

缺点:

  • 需要保存更多量化参数。
  • 计算内核需要支持通道级 Scale。
  • 不同矩阵布局会影响 Scale 的应用方式。

4.3 Group-wise Quantization

Group-wise Quantization 将一个通道或矩阵划分为多个小组,每组独立计算 Scale。

例如:

权重矩阵的一行:

Group 1:128 个权重,共享 Scale 1
Group 2:128 个权重,共享 Scale 2
Group 3:128 个权重,共享 Scale 3
Group 4:128 个权重,共享 Scale 4

常见 Group Size:

  • 32。
  • 64。
  • 128。
  • 256。

具体大小取决于量化算法、模型结构和计算内核。

Group Size 越小:

  • Scale 更贴近局部数据分布。
  • 量化误差可能更低。
  • 元数据数量更多。
  • 内核读取和计算管理更复杂。

Group Size 越大:

  • Scale 开销更低。
  • 计算实现可能更简单。
  • 不同局部区域的分布差异可能增加量化误差。

4.4 三种粒度对比

方式 Scale 范围 元数据开销 精度表现
Per-Tensor 整个张量 最低 依赖整体分布
Per-Channel 每个通道 较低 通常较好
Group-wise 每个分组 中等 灵活,可进一步降低误差

4.5 量化粒度示意图

flowchart TD
    A["原始权重矩阵"] --> B{"选择量化粒度"}
    B --> C["Per-Tensor"]
    B --> D["Per-Channel"]
    B --> E["Group-wise"]
    C --> F["整个矩阵共享 Scale"]
    D --> G["每个输出通道独立 Scale"]
    E --> H["每组权重独立 Scale"]
    F --> I["低元数据开销"]
    G --> J["适应通道分布差异"]
    H --> K["控制局部量化误差"]

    style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F

五、INT8 量化:8 位整数计算

INT8 是目前非常常见的整数低精度计算格式。

它使用 8 位有符号整数表示数值,理论上每个参数占用 1 Byte。

5.1 INT8 的基本特点

  • 整数范围通常为 -128 到 127。
  • 权重存储占用约为 FP16 的一半。
  • 可以使用整数矩阵乘法指令。
  • 需要通过 Scale 恢复数值尺度。
  • 通常可以在较低精度损失下实现模型压缩。

INT8 在模型推理中常见两种使用方式:

  1. 权重使用 INT8,激活值使用 FP16 或 BF16。
  2. 权重和激活值都使用 INT8。

第一种通常称为 W8A16。

第二种通常称为 W8A8。

5.2 W8A16:INT8 权重、FP16 激活值

W8A16 表示:

  • Weight:INT8。
  • Activation:FP16。

模型权重使用 INT8 保存,执行矩阵运算时,根据计算内核将权重转换或融合处理为适合计算的形式。

示意:

Y=X_{FP16}W_{INT8}^{T}

其优势是:

  • 权重显存占用明显降低。
  • 激活值仍然保留较高精度。
  • 对激活值分布的量化要求较低。
  • 在部分 GPU 上容易获得较好的部署效果。

但需要注意:W8A16 并不保证所有硬件都能直接执行 INT8 权重与 FP16 激活值的原生混合矩阵乘法。

实际可能通过反量化、融合 Kernel 或特定混合精度内核实现。

5.3 W8A8:INT8 权重、INT8 激活值

W8A8 表示:

  • Weight:INT8。
  • Activation:INT8。

矩阵乘法:

Y=A_{INT8}W_{INT8}^{T}

实际整数矩阵乘法通常使用更宽的累加类型,例如 INT32。

计算结果需要结合输入和权重的 Scale 恢复数值尺度。

对于对称量化:

A\approx s_a q_a
W\approx s_w q_w

因此:

Y\approx s_as_w(q_aq_w^T)

这里的整数乘加结果通常先累积到 INT32,再通过缩放转换到目标输出格式。

W8A8 的优势:

  • 权重和激活值都可以压缩。
  • 降低数据传输和存储开销。
  • 在支持 INT8 Tensor Core 的硬件上可能获得较高吞吐量。

难点:

  • 激活值分布动态变化。
  • 异常值可能影响 Scale。
  • 激活量化误差可能影响模型输出。
  • 需要更复杂的量化和校准策略。

5.4 INT8 的累加精度

一个容易被忽略的问题是:

INT8 输入不代表整个计算过程都使用 INT8。

例如:

C=\sum_{k=1}^{K}a_kw_k

如果 a_k 和 w_k 都是 INT8,那么单次乘积可以放在整数计算路径中,但累加过程通常需要更宽的整数类型。

如果始终使用 INT8 累加,数值很容易溢出。

因此,常见计算路径是:

INT8 × INT8
      ↓
INT32 累加
      ↓
Scale 还原
      ↓
FP16 / BF16 / FP32 输出

这一设计既降低了输入数据的存储成本,又避免了低位宽累加造成的严重溢出问题。


六、INT4 量化:4 位权重压缩

INT4 使用 4 位表示一个整数。

其核心价值是进一步降低模型权重存储和读取开销。

6.1 INT4 的数值范围

有符号 INT4 通常表示:

q\in[-8,7]

每个参数理论上只占用半个字节。

由于一个 Byte 有 8 位,因此两个 INT4 数值可以打包到一个 Byte 中。

例如:

高 4 位:权重 A
低 4 位:权重 B

这种方式称为 Packing。

实际量化格式可能采用不同的编码方式,例如对称有符号编码、非对称编码或自定义低位宽格式。

6.2 INT4 的主要优势

  • 权重存储仅为 FP16 的四分之一。
  • 理论上显著降低显存需求。
  • 减少权重读取带宽。
  • 有利于大模型单卡部署。
  • 对权重读取成为瓶颈的场景可能产生明显收益。

6.3 INT4 的主要挑战

INT4 只有 16 个离散数值。

这意味着可表示的数值非常有限。

例如:

x\in[-1,1]

如果将整个张量映射到 INT4 的有限整数范围,就需要用较大的量化步长表示不同浮点值。

相比 INT8,INT4 的取整误差通常更大。

此外,如果张量存在少量极端值,量化范围可能被这些极端值主导,导致大多数普通权重只能使用更少的有效量化级别。

6.4 Group-wise INT4

为了降低 INT4 的量化误差,实际模型通常采用 Group-wise Quantization。

例如:

  • 每 128 个权重为一组。
  • 每组单独计算 Scale。
  • 不同组拥有独立的量化范围。

这样可以避免整个矩阵中的少量异常值影响全部权重。

一个典型的 INT4 权重表示可能包含:

量化权重:INT4 Packed Values
缩放参数:FP16 / BF16 Scale
零点参数:可选
分组大小:Group Size

因此,INT4 模型的实际占用不等于参数量乘以 0.5 Byte。

还需要计算 Scale、Zero Point、对齐和其他元数据开销。

6.5 INT4 的反量化过程

假设某组权重使用对称 INT4 量化:

q=\operatorname{clip} \left( \operatorname{round}\left(\frac{x}{s}\right), -8,7 \right)

反量化:

\hat{x}=sq

在实际 GPU 推理中,并不一定需要先将整个权重矩阵完整反量化为 FP16。

更高效的方式是:

  1. 从显存读取 Packed INT4。
  2. 在 Kernel 内解包。
  3. 获取对应 Group Scale。
  4. 在寄存器或计算路径中转换。
  5. 执行矩阵乘法。
  6. 输出累加结果。

这种方式能够避免额外创建一个完整的 FP16 权重副本。


七、INT8 与 INT4 的对比

INT8 和 INT4 都属于整数权重量化,但在精度、存储和计算方式上存在明显差异。

对比维度 INT8 INT4
位宽 8 Bit 4 Bit
理论存储 1 Byte/参数 0.5 Byte/参数
整数表示级别 256 个编码值 16 个编码值
量化误差 通常较低 通常更高
Scale 开销 相对较低 Group-wise 时需要关注
权重读取量 较低 更低
硬件支持 较广泛 依赖硬件与 Kernel
部署复杂度 相对较低 通常更高
适用场景 精度与性能平衡 显存受限、大模型压缩

7.1 INT4 不一定比 INT8 快

这是模型量化中非常重要的工程误区。

INT4 的权重数据量更小,但不代表推理速度一定更快。

实际速度取决于:

  • GPU 是否支持高效 INT4 运算。
  • INT4 解包开销。
  • Scale 读取开销。
  • 反量化是否融合到矩阵乘法。
  • Kernel 是否充分利用 Tensor Core。
  • 是否受到显存带宽限制。
  • Batch Size 和矩阵形状。

如果 INT4 Kernel 的解包、反量化开销很大,可能无法充分发挥低位宽的带宽优势。

7.2 INT4 与 INT8 的选择

通常可以根据以下目标选择:

目标 推荐方向
尽可能降低显存 INT4
尽可能控制量化误差 INT8
单卡部署较大模型 INT4
对输出质量要求较高 INT8 或更高精度
需要成熟的整数计算路径 INT8
GPU 有高效低位宽计算支持 评估 INT4

最终应以真实业务数据集上的质量评估和性能测试为准。


八、FP8:浮点低精度计算

FP8 与 INT8 都是 8 位表示,但它们的计算逻辑不同。

FP8 保留浮点指数和尾数,能够表示不同数量级的数值。

INT8 则需要通过 Scale 和 Zero Point 映射到有限整数范围。

8.1 FP8 的特点

FP8 主要用于降低浮点计算的数据精度和存储开销。

常见格式:

格式 结构 主要特点
E4M3 4 位指数、3 位尾数 精度相对较高
E5M2 5 位指数、2 位尾数 动态范围较大

FP8 的优势:

  • 单元素占用 1 Byte。
  • 可以保留浮点数的指数结构。
  • 适合部分矩阵乘法和深度学习计算。
  • 在支持 FP8 Tensor Core 的 GPU 上可以获得较高吞吐量。

8.2 FP8 与 INT8 的区别

维度 FP8 INT8
数值类型 浮点 整数
指数结构 有 无
Scale 常见实现需要缩放管理 通常需要
Zero Point 通常不使用仿射整数零点 可使用
数值范围 取决于浮点格式 取决于整数编码与 Scale
主要应用 低精度浮点计算 权重和激活整数计算
硬件执行 FP8 Tensor Core 等 INT8 Tensor Core 等

8.3 FP8 的 Scale 管理

FP8 的动态范围虽然比 INT8 更灵活,但仍然有限。

如果输入数值超过可表示范围,就会出现溢出或饱和。

如果数值太小,也可能产生下溢和精度损失。

因此,实际计算中通常需要使用缩放因子:

x_{fp8}=\operatorname{cast}(x\cdot s)

计算完成后:

y\approx \frac{y_{fp8}}{s}

对于矩阵乘法,输入和输出可能具有不同的缩放参数。

FP8 训练和推理系统还可能使用动态 Scale、延迟 Scale 或基于历史统计的 Scale 管理策略。


九、权重量化、激活量化与 KV Cache 量化

这三种量化虽然都属于低精度优化,但作用位置和工程挑战不同。

9.1 权重量化

Weight Quantization 是将模型参数转换为低精度格式。

例如:

原始模型:
W1:FP16
W2:FP16
W3:FP16

量化后:
W1:INT4
W2:INT4
W3:INT4

权重量化通常在模型部署前完成。

主要收益:

  • 降低模型文件大小。
  • 减少 GPU 权重显存。
  • 降低权重读取带宽。

常见方案:

  • INT8 Weight Quantization。
  • INT4 Weight Quantization。
  • GPTQ。
  • AWQ。
  • GGUF 量化格式。
  • BitsAndBytes 低位宽权重量化。

9.2 激活量化

Activation Quantization 是将模型中间计算结果转换为低精度格式。

例如:

Embedding
    ↓
Attention
    ↓
Activation Quantization
    ↓
FFN
    ↓
Activation Quantization
    ↓
下一层

激活值与输入数据、模型层和运行状态有关。

因此,激活量化通常比静态权重量化更复杂。

主要挑战:

  • 输入分布随请求变化。
  • 不同层的数值范围差异明显。
  • 异常值可能破坏量化精度。
  • 需要校准或动态 Scale。
  • 量化与反量化操作可能引入额外开销。

9.3 KV Cache 量化

KV Cache 保存历史 Token 的 Key 和 Value。

在长上下文、高并发推理中,KV Cache 可能占用大量显存。

因此,可以将 KV Cache 从 FP16 或 BF16 转换为 FP8、INT8 或其他低精度格式。

其主要收益:

  • 降低缓存显存占用。
  • 提高同一 GPU 可支持的并发请求数。
  • 降低历史 Key、Value 的读取带宽。

但 KV Cache 量化需要格外注意 Attention 误差。

历史 Key 和 Value 会参与后续每一步 Token 的 Attention 计算,量化误差可能持续影响生成结果。

9.4 三类量化对比

量化对象 量化时间 主要收益 主要风险
Weight 通常部署前 减少权重显存 模型能力下降
Activation 执行过程中或部署前配置 降低中间张量开销 分布变化与异常值
KV Cache 推理过程中 降低上下文缓存占用 Attention 误差累积

十、主流量化算法:GPTQ、AWQ、SmoothQuant 与 bitsandbytes

不同量化算法的差异,主要在于如何确定量化参数、如何处理异常值,以及如何降低模型输出误差。

10.1 GPTQ

GPTQ 是一种面向 Transformer 权重的后训练量化方法。

GPTQ 的核心思想是:在量化权重时,不仅考虑当前权重与量化结果之间的差异,还考虑权重误差对模型输出的影响。

它使用近似二阶信息来指导量化过程。

核心原理

对于线性层:

Y=XW^T

量化后的权重为:

\hat{W}=W+\Delta W

输出误差:

\Delta Y=X\Delta W^T

如果输入激活 X 的某些方向更加重要,那么相同大小的权重误差可能造成不同程度的输出变化。

GPTQ 利用校准数据计算输入相关的统计信息,近似衡量权重误差对输出的影响。

常见目标可以写为:

\min_{\hat{W}} \|XW^T-X\hat{W}^T\|_F^2

其中 \|\cdot\|_F 表示 Frobenius 范数。

GPTQ 通过近似二阶优化和逐步量化策略降低该目标。

GPTQ 的主要特点

  • 属于 Post-Training Quantization,PTQ。
  • 通常不需要完整重新训练模型。
  • 依赖代表性的校准数据。
  • 常用于 INT4 权重量化。
  • 可以结合 Group-wise Quantization。

GPTQ 的局限

  • 量化过程需要计算统计矩阵。
  • 量化阶段可能占用较多 CPU/GPU 内存。
  • 校准数据选择会影响效果。
  • 推理速度依赖对应 Kernel 是否高效。

10.2 AWQ

AWQ,全称 Activation-aware Weight Quantization。

AWQ 的核心思想是:权重的重要性与输入激活值有关。

不同权重对模型输出的影响并不相同。

如果某些输入通道的激活值较大,那么对应权重上的量化误差可能更加显著。

AWQ 利用激活统计信息识别重要通道,并通过缩放变换保护关键权重的量化精度。

核心思想

对于线性层:

Y=XW^T

对输入通道进行缩放:

X'=XS^{-1}

对应调整权重:

W'=WS

因此:

X'W'^T=XW^T

在理想数学条件下,模型计算结果保持不变。

随后对调整后的权重执行量化。

这种变换能够改变权重的数值分布,让量化过程更好地保护重要通道。

AWQ 的主要特点

  • 利用激活统计信息指导权重量化。
  • 通常用于低位宽权重量化。
  • 不需要完整模型微调。
  • 常用于 INT4 部署。
  • 适合与高性能低位宽矩阵计算内核结合。

AWQ 的局限

  • 需要校准数据。
  • 需要处理权重缩放和模型结构适配。
  • 不同算子和模型架构的支持程度不同。
  • 最终推理性能取决于 Kernel 实现。

10.3 SmoothQuant

SmoothQuant 主要解决激活值中的异常值问题。

在 Transformer 中,激活值可能存在少数幅度特别大的通道。

如果直接对激活值执行 INT8 量化,这些异常值可能导致其他大多数数值的有效量化精度下降。

SmoothQuant 的核心思想是将部分量化难度从激活值迁移到权重。

通过等价缩放变换调整输入和权重的数值分布。

对于:

Y=XW^T

可以构造:

X'=XS^{-1}
W'=WS

于是:

X'W'^T=XW^T

在不改变数学计算结果的前提下,让激活值更容易量化。

SmoothQuant 的主要特点

  • 重点处理激活值异常值。
  • 常用于 W8A8。
  • 能够改善 Transformer 的 INT8 激活量化。
  • 通过离线缩放降低推理时的动态量化负担。

10.4 bitsandbytes

bitsandbytes 是深度学习生态中常用的低位宽量化工具库。

常见能力包括:

  • 8-bit 优化器相关功能。
  • 8-bit 模型权重加载。
  • 4-bit 权重量化。
  • NF4。
  • FP4。
  • 与 Transformers 等工具集成。

NF4(NormalFloat4)是一种针对近似正态分布权重设计的 4 位数据表示方式。

它并不是普通的均匀 INT4。

NF4 会根据目标分布设计量化数值级别,让有限的 4 位编码更适合表示特定分布的权重。

10.5 主流算法对比

算法 核心思路 常见目标 是否需要校准数据
GPTQ 利用近似二阶信息降低权重误差 INT4 / INT8 权重 通常需要
AWQ 根据激活重要性保护权重通道 INT4 权重 通常需要
SmoothQuant 将激活异常值影响迁移到权重 W8A8 通常需要
bitsandbytes 提供低位宽数据格式与计算支持 INT8 / 4-bit 依具体方案而定

十一、量化校准:Calibration

量化并不是简单地选择 INT8 或 INT4,然后直接转换模型。

需要确定数据分布、Scale、Zero Point、异常值处理方式等参数。

这个过程通常称为 Calibration。

11.1 为什么需要校准?

假设某一层激活值的实际分布:

X\in[-0.5,0.5]

如果校准时错误地认为:

X\in[-10,10]

那么量化范围会被严重浪费。

大量正常数值只能使用少量整数编码,导致有效精度下降。

反过来,如果校准范围过窄,真实推理数据中的大值就可能被裁剪。

11.2 校准数据集

校准数据集应该尽量接近真实业务输入。

例如:

  • 通用对话。
  • 代码生成。
  • 数学推理。
  • 长上下文。
  • 多语言输入。
  • 结构化数据。
  • 工具调用请求。

如果模型主要用于代码生成,却只使用普通聊天数据进行校准,可能无法充分覆盖真实激活分布。

11.3 校准方法

常见统计方法包括:

Min-Max

根据最小值和最大值确定量化范围。

优点是简单。

缺点是容易受到异常值影响。

Percentile

使用分位数确定量化范围。

例如忽略极端的 0.1% 或 1% 数据。

优点是可以降低异常值影响。

缺点是极端值可能被截断。

Histogram

统计激活值直方图,根据分布选择量化范围。

可以更精细地平衡量化误差与截断误差。

MSE Optimization

通过搜索 Scale,使量化前后数据的均方误差最小。

MSE=\frac{1}{N}\sum_{i=1}^{N}(x_i-\hat{x}_i)^2

这种方法直接优化重构误差,但不一定能完全反映模型最终任务质量。

11.4 校准流程

flowchart TD
    A["准备预训练模型"] --> B["准备代表性校准数据"]
    B --> C["执行模型前向计算"]
    C --> D["收集权重与激活统计"]
    D --> E["分析数值分布和异常值"]
    E --> F["确定量化粒度"]
    F --> G["计算 Scale 与 Zero Point"]
    G --> H["执行量化转换"]
    H --> I["评估量化误差"]
    I --> J{"误差是否满足要求"}
    J -->|"否"| K["调整校准数据或量化策略"]
    K --> C
    J -->|"是"| L["保存量化模型"]

    style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F

十二、PTQ 与 QAT:后训练量化和量化感知训练

模型量化主要分为两类路线:

  • PTQ:Post-Training Quantization,后训练量化。
  • QAT:Quantization-Aware Training,量化感知训练。

12.1 PTQ:后训练量化

PTQ 在模型训练完成后执行量化。

典型流程:

  1. 加载已经训练好的 FP16 或 BF16 模型。
  2. 准备校准数据。
  3. 统计权重或激活值分布。
  4. 计算量化参数。
  5. 转换权重和相关计算路径。
  6. 评估模型质量。

优点:

  • 不需要重新进行完整模型训练。
  • 成本较低。
  • 部署流程相对简单。
  • 适合已有模型的快速压缩。

缺点:

  • 低位宽下精度损失可能较大。
  • 校准数据会影响结果。
  • 对部分模型结构适配要求较高。

GPTQ、AWQ、SmoothQuant 都属于典型的后训练量化路线。

12.2 QAT:量化感知训练

QAT 在模型训练或微调过程中模拟量化误差。

训练时,模型仍然可以使用高精度参数进行梯度更新,但前向计算会模拟低精度量化行为。

典型做法是使用 Fake Quantization。

Fake Quantization 不一定真的将参数存储为 INT8,而是在前向过程中执行:

x\rightarrow Q(x)\rightarrow DQ(Q(x))

其中:

  • Q:量化。
  • DQ:反量化。

这样训练过程可以感知量化误差,并通过参数更新适应低精度计算。

12.3 Straight-Through Estimator

量化函数包含取整操作:

q=\operatorname{round}(x)

严格来说,取整函数几乎处处不可导。

因此,QAT 通常采用 Straight-Through Estimator,简称 STE。

STE 在反向传播时使用近似梯度,让梯度能够穿过量化操作。

一种简化形式:

\frac{\partial Q(x)}{\partial x}\approx1

实际实现可能在量化范围之外将梯度置零,以避免超出有效范围的数值持续影响训练。

12.4 PTQ 与 QAT 对比

对比维度 PTQ QAT
执行时间 训练完成后 训练或微调期间
是否需要训练 通常不需要 需要
计算成本 较低 较高
量化误差适应 依赖校准和算法 模型可以学习适应
极低位宽 需要精细算法 有机会获得更好精度
部署复杂度 相对较低 训练流程更复杂