为什么高分辨率直接出图会”双头”?位置编码与分辨率外推
很多人用过这样一个操作:出了一张 1024×1024 的图,觉得不够清晰,就把参数里的宽高一齐拉到 2048×2048,想”直接出张大图”。结果画面里冒出两个头、三条腿,或者同一个人被复制成并排两个,构图也裂成几块互不搭界的东西。
困惑常被归结为”模型抽风”,但这其实是可精确解释、也能绕开的技术现象,牵涉训练分辨率、位置编码和注意力三件事。拆清楚它们,就知道大图该怎么出了。
第一步:模型是在”固定尺寸”上学会画画的
扩散模型并不是天生会画任意尺寸的图。它在训练时看到的样本,会被统一缩放到少数几个固定档位:SD 1.5 是 512×512,SDXL 是 1024×1024 附近的一组宽高比”桶”,Flux 也在特定的分辨率桶里训练。
这意味着两件事。一是模型学到的”一张完整的图长什么样”,以训练分辨率为标尺:人该占多大、主次关系、细节密度都固定在这个尺度上。二是模型处理的是压缩后的潜空间张量,比如 SDXL 把 1024 的图下采样 8 倍成 128×128 的 latent 再切 patch,训练时每个样本约 4096 个 patch。
一旦你把分辨率翻倍到 2048,latent 变成 256×256,patch 数直接涨到 16384,是训练时的四倍。模型从没在这个”规模”上被教过怎么把全局组织成一张画。
第二步:位置编码”不认识”新坐标
Transformer 类的网络(DiT)本身不知道每个 patch 在画面里的位置,必须额外塞进一组”位置编码”。可以把它理解为给每个格子发一个坐标号。
问题在于,很多位置编码的有效范围是跟着训练分辨率走的。绝对位置编码或学习式位置表,只见过 0 到 127 这样的行列索引;分辨率翻倍后,索引扩展到 0 到 255,超出部分模型没有任何经验,坐标信息开始失真。更常见的表现是:模型会把一张超大图,近似当成”几张训练尺寸的图拼在一起”来分别去噪——每一块都按自己熟悉的尺度生成一个完整主体,于是”双头””双人””多只手”就出现了。
这正是为什么这类错误常被叫做”拼接伪影”或”平铺重复”:它不是随机画错,而是模型在用它唯一会的那套尺度,去填一块超出能力范围的画布。
第三步:注意力的”全局协调”被摊薄了
还有一个更硬的限制:自注意力的计算量随 token 数平方增长,patch 数变成四倍,计算量就是十六倍。更关键的是语义层面——”左上的手和右下的脚属于同一个人”这种跨区域协调,是模型在固定 token 数下反复练出来的。token 暴增后每个位置分到的注意力被稀释,远距离关联变弱,画面便倾向于”各区域各自为政”:局部看着还行,整体却拼不成一个合理场景。
第四步:正确的做法是”外推”而不是”硬拉”
明白成因,解法就清楚了:不要指望模型凭空处理没见过的尺度,而要让它始终工作在熟悉的范围里。
两阶段出图(最稳)。 先在原生训练分辨率出图,把构图、主体、语义定死并锁定随机种子;再用放大流程补细节。典型 hi-res 做法是 latent 放大 1.5 倍后,以 0.4~0.6 的低去噪强度重绘一遍——强度低于 0.4 几乎不加细节,高于 0.7 又会把构图重新洗掉、把”双头”请回来。最后接一个超分模型做像素级锐化。
位置编码插值。 若必须直出更大尺寸,可用位置插值类方法(把新坐标线性压缩回训练范围)或频率缩放(类似 NTK-aware / YaRN 的思路,对 RoPE 的旋转基频做缩放),让超出的位置映射回见过的值域;选原生支持高分辨率微调的模型版本更省事。
分块扩散加融合。 超大画布用 tiled diffusion,每块按训练尺寸生成,块与块之间留 64~128 像素重叠并做羽化融合,配合轻微的位置编码缩放,能显著抑制重复主体和接缝。
参数对齐。 宽高尽量取 64 的倍数、贴合模型训练时的宽高比桶,避免用训练里没出现过的极端长宽比,否则和翻倍分辨率是同一类问题。
一套可以直接照做的流程
给个可复用的顺序:先 1024×1024(或模型原生档位)出图并固定种子 → 挑中构图 → latent 放大 1.5 倍、去噪强度 0.5、步数 20~28 重绘 → 超分到目标尺寸 → 检查主体数量、接缝和手指。若业务必须要 2K 以上的单次直出,就用带高分辨率微调的权重,并打开位置编码插值,别拿基础权重硬顶。
在 AI广告制作 的交付里,海报、KV 这类高分辨率物料基本都走这条两阶段链路:先在原生分辨率把创意和构图定稿,再放大补细节。看似多一步,却比反复抽卡赌一张”不分裂”的大图省得多。
结语
“双头”不是玄学,而是分辨率、位置编码、注意力三重限制下一次可预期的失手。理解了模型只擅长训练过的尺度,思路就会从”逼它出大图”换成”先做对、再放大”——这也是专业产线与抽卡最实在的差别。
想看看成熟团队怎么把这套分辨率策略固化进 AIGC制作公司 的批量流程,可以翻翻我们整理的其他几篇技术笔记。