潜空间插值能做什么?两张图之间的过渡是怎么算出来的

把一张产品图平滑地”变”成另一张,中间生成十几帧过渡,看起来像变魔术。但真做起来会发现两种完全不同的结果:有时中间帧自然得像镜头推近,有时两件东西叠在一起、出现双影和鬼脸,还有的整段亮度忽然塌了一档。

差别不在模型好坏,而在你插值的是哪个空间里的哪个量。这篇文章把这件事拆成四步。

第一步:图在模型眼里是一个张量,不是像素

扩散模型并不直接处理 512×512 的 RGB 像素。图像先被 VAE 编码器压进潜空间,SD 系常见是一个 4×64×64 的张量(下采样 8 倍,4 个通道),后续所有加噪、去噪都在这个张量上进行。

于是”两张图”就变成了潜空间里的两个点 z_A 和 z_B。既然是坐标,就能取中间点:

z(t) = (1 - t) · z_A + t · z_B      t ∈ [0, 1]

t=0 是原图 A,t=1 是原图 B,t=0.5 是两者的中点。把每个 t 对应的张量送进 VAE 解码器,就得到一整串过渡帧。这个操作叫线性插值(lerp),也是绝大多数工具里”两图过渡”的默认实现。

第二步:为什么中点经常发灰、发糊

问题出在高维几何上。扩散模型的初始噪声近似服从高维标准正态分布,样本几乎都落在一个超球面上,两个随机潜向量基本互相垂直。

对两个近乎垂直、模长都为 R 的向量做线性插值,t=0.5 处的模长只有约 0.707R——中间点掉到球面里面去了,偏离了模型见过的分布。VAE 解码一个”分布外”的张量,典型表现就是对比度下降、色彩发灰、细节糊成一片。

修法是换成球面插值(slerp),沿超球面按夹角走,保持模长不变:

z(t) = [sin((1-t)·θ)/sinθ]·z_A + [sin(t·θ)/sinθ]·z_B

其中 θ 是 z_A 与 z_B 的夹角(由点积除以模长积求 arccos)。当两向量几乎平行时 θ 很小,公式数值不稳,这时退回 lerp 即可。实操上 slerp 的中点帧明显更”实”,这也是为什么很多工作流默认选它。

第三步:混合图像 ≠ 语义渐变

就算用了 slerp,直接对两张成品图的潜张量插值,得到的仍是两张图的混合,不是”物体从 A 变成 B”。中间帧里两个主体会同时存在、半透明重叠,看起来像双重曝光。

想要真正的形变,得换插值对象:

  • 插值文本条件:固定同一个初始噪声(同 seed),只把两段提示词的 embedding 按 t 混合,或者用 prompt 切换权重。噪声基底一致,结构自然连续,中间帧是”语义上的中间态”。
  • 反演到共同起点:用 DDIM inversion 把两张真实图各自反推回同一个噪声基底,再对噪声或潜张量插值。这是目前做实拍图 A→B 转场最干净的做法,代价是多一步反演、且要求反演步数与原采样设置匹配。
  • 分段插值:0→1 的直线可能穿过潜空间的低密度区。把它拆成 2~3 段,每段各自重新去噪一次,比一条直线走到底稳得多。

第四步:帧数、CFG 与验收

几个能直接用的数值:

  • 帧数:8~16 帧做静帧或短转场够用;要做 24 fps 视频,用 12~24 帧插值后再插帧补到时长。
  • CFG:过渡段降到 5~7。CFG 太高会让两个互相冲突的条件在中间帧”打架”,表现为结构撕裂;太低又会让画面偏离两个端点。
  • 固定 seed:全流程同一个 seed,否则帧间噪声不连续,会闪。
  • 抽查三个点:t=0.25 / 0.5 / 0.75 单独看,重点查双影、结构塌陷、亮度掉档。中间帧的问题几乎都在这三处暴露。
  • 后处理统一:所有帧用同一套 VAE、同一套色彩与锐化参数,别逐帧调,否则会出现呼吸感。

一套能落地的工作顺序

  1. 先明确要的是”叠化”还是”形变”:叠化用图像潜张量 + slerp 就行;形变必须走同 seed 的文本条件插值或 DDIM inversion。
  2. 端点图尽量同源:同样的分辨率、同样的底模、同样的 VAE、相近的构图,端点越接近,中间路径越不容易穿出分布。
  3. 先出 4 帧粗看(t=0 / 0.33 / 0.66 / 1),确认路径没问题再补满帧数,能省掉大半算力。
  4. 涉及 logo、包装文字、品牌标识的过渡帧必须逐帧人工过一遍——插值过程对可读文字极不友好,几乎必然出现扭曲字符。
  5. 把 seed、端点图文件、插值方式、帧数、CFG 一起存档,交付时可复现。在 AI广告 的转场镜头制作里,这套元数据通常和分镜表绑在一起,方便后期回改某一帧。

结语

潜空间插值的本质,是在模型学过的”图像分布”里找一条从一个点走到另一个点的路径。路径贴着分布走,画面就干净;路径切进低密度区,就会糊、会灰、会长出双影。

理解到这一层,调参就从碰运气变成了选路径。想看更多这类可复现的生成流程,可以翻翻 AIGC制作公司 整理的其他实操笔记。

相关文章

  • aigc是什么技术

    aigc是什么技术

    1好用到哭!AIGC生成图像惊艳出道,轻松完成你想要的效果!2、大数据助力!AIGC生成图像通过深度学习技术,利用海量数据训练,生成高质量图像!3、教科书般的效果!AIGC生成图像的结果简直就像从教科书中跳出来的一样,细节清晰、真实度高!4、小白必看!AIGC生成图像操作简单,小白也能轻松上手,快速生成惊艳作品!5、宝藏功能!AIGC生成图像是设计师、摄影师等行业的绝绝子神器,帮你快速实现创意!6、都给我冲!AIGC生成图像是提升你创作效率和体验的必备工具,让你的作品瞬间出类拔萃!7、划重点!A…

    灵动观点 2023年10月21日
  • 幕后揭秘—蒙牛早餐奶AIGC广告

    幕后揭秘—蒙牛早餐奶AIGC广告

    北京时间7月27日下午,巴黎奥运会女子双人3米跳板决赛在巴黎奥林匹克水上运动中心举行,首次参加奥运会的中国组合陈艺文/昌雅妮以337.68分毫无悬念地夺冠,为中国跳水队拿到了本届奥运会的第一块金牌。 随着国际大型体育赛事如奥运会的举办,奥林匹克全球合作伙伴蒙牛携手视觉灵动团队正式发布了“蒙牛早餐奶奥运金装”的电视广告,借助奥运平台进行品牌推广和营销活动。我们邀请大家一起见证奥运健儿们在赛场上的卓越风姿,为体育健儿们加油喝彩! 在本次视频企划中,我们以“跳水、金牌、早餐、运动和营养”为关键词,展开…

    灵动观点 2024年8月1日
  • 光流与 AI 视频运镜运动模糊 AIGC广告制作

    光流是什么?为什么 AI 视频一运镜就糊

    内容目录 第一步:光流是”每个像素往哪走”,不是模糊第二步:三个地方最容易估不准第三步:视频生成模型把误差放大了第四步:从生成侧减少误差第五步:后期能补什么,不能补什么可操作的结论结语 光流是什么?为什么 AI 视频一运镜就糊 用 AI 生成视频的人几乎都撞过这堵墙:静止镜头干净稳定,一加推拉摇移,边缘立刻拉丝、拖影,前景背景像被融在一起,快速横摇时整帧糊成一片。很多人以为是”模型不擅长运镜”,把提示词改来改去也没用。 真正的原因藏在视频模型处理时间的方式里。要讲清它,得…

    爱上学习 2026年11月18日
  • AIGC广告春节档差异化 品牌风格锚 视觉灵动

    春节档快到了,AI 广告怎么避免”大家都长一个样”?

    内容目录 一、同质化的根源在输入,不在模型二、先把”品牌不变量”写成可执行的规则三、把变量放到叙事上,而不只是装饰上四、批量的前提是留一条探索位五、档期倒推:现在该定的是风格锚,不是成片结语 年前刷信息流有个很直观的感受:十条年货广告里,七八条都是红灯笼、暖光、金色粒子、一家人围桌笑。构图像、色调像、连运镜节奏都像。不是哪家抄了哪家,是大家用着差不多的模型、差不多的提示词模板、差不多的参考图,产出自然往同一个方向收敛。工具越好用,”撞脸”的成本反而越低。做 AIGC广告 …

    灵动观点 2026年11月21日
  • 分辨率、帧率、码率:短视频发布参数的最小知识

    分辨率、帧率、码率:短视频发布参数的最小知识

    内容目录 第一步:三个参数各管什么第二步:平台一定会二次压缩第三步:一个够用的码率估算公式第四步:比码率更容易被忽略的三件事可操作的导出清单 分辨率、帧率、码率:短视频发布参数的最小知识 同一段素材,在剪辑软件里看是清的,导出上传到平台之后就糊了;换了台设备再看,又变清楚了。很多人第一反应是”平台压我画质”,于是把码率拉到最高,重新导出,结果还是糊。 问题往往不在平台,在于三个参数被混为一谈:分辨率、帧率、码率。它们各管一件事,只有搞清分工,才知道该动哪个。 第一步:三个…

    爱上学习 2026年10月30日
  • 五四青年

    五四青年

    赞微海报分享

    AIGC作品 2026年5月8日
免费垂询
在线咨询
企微咨询
企微咨询
顾问名片
顾问名片
看视频号
看视频号
分享本页
返回顶部