同一个 LoRA 换个底模为什么就失效?秩与权重空间的拆解
做产品素材的人多半遇到过这件事:花两三天训好一个 LoRA,把自家瓶子、包装、IP 形象喂进去,出图稳得能直接上产线。结果底模升级了一版,或者同事随手换了个 checkpoint,同样的 LoRA、同样的提示词、同样的触发词,出来的东西要么画风全变,要么产品特征干脆消失了,严重的直接报维度错误加载不上。
很多人第一反应是”权重坏了”或”这个 LoRA 训废了”。其实都不是。LoRA 从来就不是一份独立资产,它是贴在某个具体底模上的一组修正量。理解这一点,就能明白为什么它对底模这么挑剔。
第一步:LoRA 存的不是图,是一个低秩矩阵
全量微调会把模型权重矩阵 W 整个改一遍,代价大、文件动辄几个 GB。LoRA 的思路是冻结 W 不动,只学习一个增量 ΔW,推理时按 W′ = W + (α/r)·ΔW 叠加回去。
关键在于它把 ΔW 拆成两个瘦长矩阵的乘积:ΔW = B·A。如果原权重是 d×d,A 是 r×d、B 是 d×r,中间那个 r 就是秩(rank),常见取 4、8、16、32、64,远小于 d(注意力层动辄 768、1024、2048)。所以一个 LoRA 文件只有几 MB 到一两百 MB——它不是”记住了产品长什么样”,而是”在权重空间里找到了一个很窄的修正方向”。
这是第一个要点:LoRA 是方向,不是内容。
第二步:修正量是相对”那个 W”算出来的
训练时梯度下降走的方向,完全由训练所用的底模 W₀ 决定。ΔW 的每一列都对应着”在 W₀ 的这几个特征方向上加一点、那几个方向上减一点”。
换到底模 W₁ 之后,同一份 ΔW 被加到一组完全不同的权重上,落点就不再是原来那个语义位置了。打个比方:给某台相机标定好的白平衡偏移,换一块传感器,同样的偏移值反而把画面推得更偏。底模合并(model merge)越多、跟原底模权重距离越远,漂移越明显。
这也解释了一个常见现象:同为 SD 1.5 架构的两个底模,LoRA 有时能用但效果打折,有时几乎不起作用——不是”兼不兼容”的二元问题,而是权重距离决定的连续衰减。
第三步:跨架构为什么直接报错
SD 1.5 的 UNet 交叉注意力维度是 768,SDXL 用 2048 并配双文本编码器,Flux 走的是 DiT 双流块结构。LoRA 的 A、B 矩阵形状是按目标层的输入输出维度写死的,跨架构加载时矩阵对不上,工具会直接抛 size mismatch。
即便形状碰巧对得上,文本编码器也换过了:触发词在训练时绑定的是旧编码器的 token embedding,新编码器(尤其 Flux 用的 T5 系列)里根本没有同一个向量空间。触发词失效和画风漂移,往往是两件事同时发生。
第四步:秩越高,反而越”绑死”底模
直觉上秩越大越稳,其实相反。r=64、network dim=128 这类高秩配置能表达更细的特征,但也把修正方向铺得更适合 W₀ 的局部结构,基座一变,失配的方向更多。低秩(r=4~8)表达力弱、细节糊,可修正方向少,有时反而在邻近底模上残留一点效果。
还有一个容易忽略的系数 α/r:很多工具导出时把 alpha 设为 dim 的一半或相等,实际生效强度是 α/r。同一份 LoRA 在不同加载器里表现不同,常常就是这个缩放没对齐。
一套能落地的管理办法
把上面四层压成产线规则:
- 台账必须记全:底模名称+版本或文件 hash、架构(1.5 / XL / Flux)、network dim、alpha、rank、触发词、训练集版本。少了底模指纹,这份 LoRA 半年后就是废文件。
- 换底模按”重训”处理,不按”迁移”处理:用同一批 20~50 张训练集、相同 seed、相同步数重跑一遍,比反复调权重便宜得多。
- 万不得已要跨底模用:把 LoRA 权重从 1.0 降到 0.4~0.6 起步,做 0.3 / 0.5 / 0.7 的权重扫描,同时保留 ControlNet 锁构图,别指望它单打独斗。
- 上线前做固定种子回归:旧底模和新底模各出 10 张,固定提示词与 seed,比对产品特征保留率;低于八成就判为不兼容,而不是靠”看着还行”放行。
- 把底模版本当产线参数锁死:升级底模等于换产线,所有 LoRA、ControlNet 权重、提示词模板都要一起过回归。在 AI广告制作 的批量交付里,我们通常把”底模+LoRA+参数”打包成一个版本快照存档,出问题时能整包回滚。
结语
LoRA 失效不是玄学,是低秩修正量离开了它被算出来的那个权重空间。它便宜、轻、好分发,代价就是必须和底模绑定管理。
把这件事写进资产规范,比事后反复调权重有用得多。想看这类版本管理在真实 AIGC制作公司 的产线里怎么落地,可以接着翻我们整理的其他几篇实操笔记。