模型量化是什么?FP16 / INT8 / GGUF 与出图质量的取舍
同一个文生图模型,官方权重动辄 6~12GB,社区里却总能找到 3GB、4GB 的”量化版”:显存占用少一半,出图还更快。但有人换上之后发现画面发糊、颜色偏、手部更容易崩,提示词也不太听话了。量化听起来只是”压缩文件”,为什么会影响画质?
因为它压的不是文件,是每一个参数能被表达的精度。精度变粗之后,误差会在几十步去噪里被一步步放大。
第一步:权重本来是一堆浮点数
训练时梯度通常用 FP32(单精度,32 bit),推理时一般降到 FP16(半精度,16 bit)或 BF16。一个 7B 参数的模型,FP16 约 14GB,FP32 约 28GB——这就是”显存不够”的源头。
浮点数的位分成三段:符号位、指数位、尾数位。FP16 是 1 + 5 + 10,动态范围小但尾数多、精度高;BF16 是 1 + 8 + 7,动态范围和 FP32 一致、不容易溢出,但尾数少、精度低。这是第一层取舍:保范围还是保精度。图像生成对上限溢出不敏感,所以 SD 系普遍用 FP16。
第二步:量化 = 用低比特整数近似浮点
线性量化的核心是两步:
q = round(x / s) + z x̂ = s · (q − z)
s 是步长(scale),z 是零点(zero-point)。INT8 把一段浮点映射到 0~255 共 256 个格子,权重体积降到 FP16 的一半;INT4 只有 16 个格子,降到四分之一。
误差来自两处:round 的舍入误差,以及超出范围被截断(clamp)的离群值。所以量化没有删掉任何参数,只是把每个参数的取值从连续变成分级——像把 24bit 色降到 8bit 色,格子少了,渐变就可能出现断层。
第三步:离群值才是真正的难点
大模型里存在少量幅值特别大的权重和激活(outlier),它们对输出的影响远不成比例。如果按全局最大最小值定 s,绝大多数普通权重会被挤进很少几个格子里,精度损失惨重。
工程上有三类解法:
- 分组量化:按张量(per-tensor)、按通道(per-channel)或按 32~128 个权重一组(per-group)各算各的
s。group_size常见 32 / 64 / 128,组越小越准,但要多存元数据。 - 校准(calibration):拿一小批真实样本(常见 128~512 条)跑前向,统计激活分布来定裁剪阈值。GPTQ、AWQ 都属于这类;AWQ 会按激活重要性保护 0.1%~1% 的显著权重不参与量化。
- 混合精度:敏感层保留 FP16——通常是首尾层、attention 输出投影、归一化层,其余才压到 INT8/INT4。
GGUF 里那些名字就是这套规则的缩写:Q4_K_M 中 Q4 指主权重 4 bit,K 指 K-quants 分块,M / S / L 表示混合程度(M 中等、L 更保真)。Q8_0 则几乎是 8 bit 直量化,体积接近 FP16 但兼容性好。
第四步:数值误差怎么变成看得见的画质变化
扩散模型每一步去噪都要把 UNet 或 DiT 整个过一遍,20~50 步下来误差会累积。对文本条件最敏感的 cross-attention 路径一旦精度变粗,最先掉的是提示词遵循度:该出现的元素没出现、多个概念互相串味。
视觉上常见三类退化:高频细节变少(皮肤更光滑、织物纹理变平)、色彩轻微偏移与色阶断层(VAE 解码对误差格外敏感)、相同种子下与 FP16 分叉(构图随机性上升,批量一致性变差)。
经验上的档位:INT8 / FP8 通常与 FP16 几乎无可见差异;Q5_K_M、Q8_0 属于可接受区间;Q4 及以下在人像、文字、细密纹理上差异开始可见;Q2、Q3 明显劣化。要注意这是”与 FP16 的差异”,不等于绝对画质差——它仍然是同一个模型、同一套审美。
第五步:显存账要算全,也有反向成本
显存 ≈ 权重 + 激活 + 潜变量 + 临时缓冲。以 SDXL 为例,FP16 权重约 6.5GB,8GB 显卡在 1024×1024 加批量时很容易 OOM;换成 FP8/INT8 权重约 3.5GB,腾出的空间可以留给更大 batch 或更高分辨率,这是量化最实在的价值。
但有两个反直觉的代价:一是量化与反量化本身要计算,若硬件没有对应的低精度算子(老卡缺 INT8 Tensor Core),反而更慢;二是省下的显存往往立刻被拿去提高分辨率或 batch,最终耗时未必下降。
格式也不通用:GGUF 主要服务 llama.cpp 生态(CPU、Apple Silicon 统一内存),扩散模型侧常用的是 FP8、INT8、bitsandbytes NF4 或 TensorRT 引擎。别把语言模型的量化经验搬到出图工作流上。
可操作的结论
- 显存够(≥12GB)就用 FP16/BF16 原版权重做基准,固定种子、提示词、步数、CFG 跑出参考图,再换量化版做 A/B 对比,别凭感觉判断”差不多”。
- 显存紧(6~8GB)优先 INT8 / FP8 或
Q5_K_M/Q8_0,不要一步跳到 Q4。画质退化往往是跳档太猛,不是量化本身不行。 - 对比只盯三处高危区:人像皮肤与眼睛、文字/logo、细密规则纹理;再连出 4 张看一致性是否下降。
- 量产推荐分层量化:文本编码器与 VAE 保持 FP16(分别管语义与色彩),只量化 UNet/DiT 主干。这是性价比最高的一刀,体积省得多、可见损失最小。
- 把量化档位写进参数卡:模型版本 + 量化格式 +
group_size+ 校准集,换机器才复现得出来。 - 若量化后提示词遵循度明显下降,先回更高精度档,别急着加词或调 CFG——这是数值问题,不是提示词问题。
一句话收束:量化是拿”数值精度”换”显存和速度”,代价不会消失,只是被摊到几十步去噪里;知道误差最怕哪一层,就知道该把精度留在哪里。
在 AIGC广告 的批量交付里,我们会把量化档位和参数卡一起归档,保证同一批素材隔一周重跑仍是一致的结果。挑选 AIGC制作公司 时也可以问一句:你们怎么记录模型精度、怎么做版本间的画质 A/B?答得出分层量化和复现流程的团队,通常真的处理过量产掉色的坑。