为什么同一段提示词,中英文出图差别很大?分词与语料偏差
几乎每个用文生图的人都试过这件事:把一句中文提示词丢进翻译软件,再粘给模型,出来的画面反而更”对”了;可有时候精心写的英文长句,效果还不如几个朴素的中文词。更让人困惑的是,同一个模型换一种语言,风格、构图、甚至连”电影感”的浓度都不一样。
这不是玄学,也不是模型”更懂英文”。差别来自三个可以逐层验证的环节:文本怎么被切开、切开后映射到哪个语义空间、以及这个空间当初是用什么语料喂出来的。
第一步:分词器把一句话切成完全不同的零件
模型读不到文字,只认 token 编号。主流文生图的文本编码器(CLIP
一类)用 BPE 之类的子词分词,词表是训练时定死的,常见规模 49408
个条目,单次输入上限 77 个 token(SDXL 用双编码器,上限仍是按 77
对齐的段落)。
问题就在这里:同一段语义,中英文占用的 token
数不对等。英文里 “golden hour lighting” 大约 3~4 个
token,中文”黄昏暖光”往往被切成 4~6
个甚至更多(很多模型词表对汉字的覆盖稀疏,一个字可能单独成
token)。中文描述更长、更容易撞到 77
的上限,后半段权重被截断或稀释——你以为写全了,模型其实只看到前三分之二。
第二步:语义空间是按”图文共现”组织的,不是按词典
CLIP
的训练目标是让匹配的图片和文字在同一个向量空间里靠近。它学到的不是”red =
红色”这种翻译关系,而是什么描述经常和什么样的画面一起出现。
于是两个后果:
- 高频组合占便宜。”cinematic lighting, shallow depth of field, 35mm”
这类词组在英文图文对里反复出现,模型对它们的响应又强又稳; - 低频组合被拉向平均值。”留白””国风””气韵”这类词在训练语料里对应样本稀疏,且往往伴随多种完全不同的画面,模型只能给出一个模糊的平均方向。
所以机翻之所以常常”更好”,不是因为英文更精确,而是翻译结果碰巧落到了训练语料的高频短语上;把中文硬译成生僻英语长句,反而容易掉进更稀疏的区域。
第三步:语料构成带来的系统性偏差
公开图文数据集以英文网页内容为主,中文、日文等多语种样本占比很低,且中文样本里相当一部分是电商图、截图、带字海报。这会带来两层偏差:
- 概念覆盖偏差:某些视觉概念(specific
光线术语、镜头焦段、胶片型号)在英文语料里有大量干净样本,中文侧几乎没有对应表达; - 画面质地偏差:中文样本里”带文字的图”比例偏高,于是模型在中文条件下更容易往海报、插画、带排版的方向偏,而不是纯摄影。
这也是为什么国产模型(用中文原生语料重训或补训文本编码器)在中文提示词上表现明显更稳——不是翻译做得好,是那块语义空间被中文数据重新填过了。
第四步:语序、标点和权重也在改变结果
CLIP 文本编码器是带位置信息的
Transformer,但不是严格的语法解析器。实际表现上:
- 逗号分隔的”标签式”写法(多个名词短语并列)比长复合句更可控,因为每个短语更容易获得独立注意力;
- 位置靠前的词权重通常更高,77 token 里越靠后越容易被稀释;
- 显式加权语法(如
(word:1.2)、BREAK
分段)在不同前端实现里解析规则不同,跨工具照搬会失效。
一段中文长句用逗号切成 6 个短语,和当作一句 40
字的话输入,模型看到的并不一样。
可操作的结论
- 先查 token,不查字数。把提示词过一遍对应模型的
tokenizer,控制在 60~75 token 以内,把最关键的主体、光线、镜头放在前 30
个 token。 - 用”标签式短短语”,别写长复合句。主体 + 光线 +
镜头/焦段 + 质地 + 风格,用逗号断开,每块 3~8 个词。 - 语言跟着模型走。英文语料为主的模型用英文高频短语;中文原生模型直接用中文,别来回机翻两次(往返翻译会丢掉焦段、光线这类具体修饰词)。
- 固定种子做 A/B。同一 seed、同一 CFG(建议
5~7)、同一采样步数(20~30),只切换语言版本,连出 4
张对比,才能判断差别到底来自语言还是随机性。 - 建一张自己的双语对照表。把验证过有效的表达(如”侧逆光
/ rim light””浅景深 / shallow depth of
field”)固定下来复用,比每次重新翻译稳定得多。 - 警惕”更地道”的翻译。文学化的英文长句往往比朴素的标签短语更差,因为它离训练语料的高频路径更远。
三句话收束:分词决定能写多少,语义空间决定词指向哪类画面,语料构成决定哪类画面样本多。中英文出图有别,本质是同一套机制在不同数据密度下的表现。
在 AIGC广告
的批量素材产线里,提示词通常会先固化成双语对照模板、锁定 seed 与
CFG,再做多语言版本的 A/B
验收,避免同一条脚本在不同市场跑出两种质感。做多区域投放时,
的经验也是先把语言变量单独测干净,再去调整画面创意,否则很难判断画面差异究竟来自文案还是来自随机性。