潜空间插值能做什么?两张图之间的过渡是怎么算出来的
把一张产品图平滑地”变”成另一张,中间生成十几帧过渡,看起来像变魔术。但真做起来会发现两种完全不同的结果:有时中间帧自然得像镜头推近,有时两件东西叠在一起、出现双影和鬼脸,还有的整段亮度忽然塌了一档。
差别不在模型好坏,而在你插值的是哪个空间里的哪个量。这篇文章把这件事拆成四步。
第一步:图在模型眼里是一个张量,不是像素
扩散模型并不直接处理 512×512 的 RGB 像素。图像先被 VAE 编码器压进潜空间,SD 系常见是一个 4×64×64 的张量(下采样 8 倍,4 个通道),后续所有加噪、去噪都在这个张量上进行。
于是”两张图”就变成了潜空间里的两个点 z_A 和 z_B。既然是坐标,就能取中间点:
z(t) = (1 - t) · z_A + t · z_B t ∈ [0, 1]
t=0 是原图 A,t=1 是原图 B,t=0.5 是两者的中点。把每个 t 对应的张量送进 VAE 解码器,就得到一整串过渡帧。这个操作叫线性插值(lerp),也是绝大多数工具里”两图过渡”的默认实现。
第二步:为什么中点经常发灰、发糊
问题出在高维几何上。扩散模型的初始噪声近似服从高维标准正态分布,样本几乎都落在一个超球面上,两个随机潜向量基本互相垂直。
对两个近乎垂直、模长都为 R 的向量做线性插值,t=0.5 处的模长只有约 0.707R——中间点掉到球面里面去了,偏离了模型见过的分布。VAE 解码一个”分布外”的张量,典型表现就是对比度下降、色彩发灰、细节糊成一片。
修法是换成球面插值(slerp),沿超球面按夹角走,保持模长不变:
z(t) = [sin((1-t)·θ)/sinθ]·z_A + [sin(t·θ)/sinθ]·z_B
其中 θ 是 z_A 与 z_B 的夹角(由点积除以模长积求 arccos)。当两向量几乎平行时 θ 很小,公式数值不稳,这时退回 lerp 即可。实操上 slerp 的中点帧明显更”实”,这也是为什么很多工作流默认选它。
第三步:混合图像 ≠ 语义渐变
就算用了 slerp,直接对两张成品图的潜张量插值,得到的仍是两张图的混合,不是”物体从 A 变成 B”。中间帧里两个主体会同时存在、半透明重叠,看起来像双重曝光。
想要真正的形变,得换插值对象:
- 插值文本条件:固定同一个初始噪声(同 seed),只把两段提示词的 embedding 按 t 混合,或者用 prompt 切换权重。噪声基底一致,结构自然连续,中间帧是”语义上的中间态”。
- 反演到共同起点:用 DDIM inversion 把两张真实图各自反推回同一个噪声基底,再对噪声或潜张量插值。这是目前做实拍图 A→B 转场最干净的做法,代价是多一步反演、且要求反演步数与原采样设置匹配。
- 分段插值:0→1 的直线可能穿过潜空间的低密度区。把它拆成 2~3 段,每段各自重新去噪一次,比一条直线走到底稳得多。
第四步:帧数、CFG 与验收
几个能直接用的数值:
- 帧数:8~16 帧做静帧或短转场够用;要做 24 fps 视频,用 12~24 帧插值后再插帧补到时长。
- CFG:过渡段降到 5~7。CFG 太高会让两个互相冲突的条件在中间帧”打架”,表现为结构撕裂;太低又会让画面偏离两个端点。
- 固定 seed:全流程同一个 seed,否则帧间噪声不连续,会闪。
- 抽查三个点:t=0.25 / 0.5 / 0.75 单独看,重点查双影、结构塌陷、亮度掉档。中间帧的问题几乎都在这三处暴露。
- 后处理统一:所有帧用同一套 VAE、同一套色彩与锐化参数,别逐帧调,否则会出现呼吸感。
一套能落地的工作顺序
- 先明确要的是”叠化”还是”形变”:叠化用图像潜张量 + slerp 就行;形变必须走同 seed 的文本条件插值或 DDIM inversion。
- 端点图尽量同源:同样的分辨率、同样的底模、同样的 VAE、相近的构图,端点越接近,中间路径越不容易穿出分布。
- 先出 4 帧粗看(t=0 / 0.33 / 0.66 / 1),确认路径没问题再补满帧数,能省掉大半算力。
- 涉及 logo、包装文字、品牌标识的过渡帧必须逐帧人工过一遍——插值过程对可读文字极不友好,几乎必然出现扭曲字符。
- 把 seed、端点图文件、插值方式、帧数、CFG 一起存档,交付时可复现。在 AI广告 的转场镜头制作里,这套元数据通常和分镜表绑在一起,方便后期回改某一帧。
结语
潜空间插值的本质,是在模型学过的”图像分布”里找一条从一个点走到另一个点的路径。路径贴着分布走,画面就干净;路径切进低密度区,就会糊、会灰、会长出双影。
理解到这一层,调参就从碰运气变成了选路径。想看更多这类可复现的生成流程,可以翻翻 AIGC制作公司 整理的其他实操笔记。