【AI论文解读】可灵技术报告：视频生成如何理解和执行指令 - 2026-11-04

论文信息

• 英文标题　Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling
• 作者　Kling Team（可灵团队）
• 发布日期　2026 年 11 月 3 日，arXiv 技术报告 v1。原文
• 选题来源　2026 年 11 月 4 日查询时，位列 Hugging Face Daily Papers 当日第 1。Hugging Face 论文页

一句话总结

可灵把视频生成的控制问题拆到标注、提示词增强、文本编码和评测几个环节，逐段检查人物、动作、参考素材和事件顺序能否从用户输入传到生成结果。报告中的一组实验显示，固定视频生成器后，只优化提示词改写也能提高视频叙事得分，但文字忠实度可能同时下降。论文引言 · 表 13

1 画面逼真以后，为什么还会拍错

假设用户上传一张人物照，说「让照片里的女孩先在校门口合上红伞，再走进教学楼。保留她的脸和校服，场景设在雨后。」生成的视频可能每一帧都好看，但女孩进楼后换了一张脸，也可能漏掉收伞动作。第一种是人物跨镜头失去一致性，第二种是一个指定事件没有发生。两种问题都很难从画质总分里看出来。

还可以继续追问，漏掉收伞到底发生在哪一步？提示词增强可能先漏掉了这个动作。即使改写后的文字保留了它，编码器也可能没有充分表达先后关系。即使条件完整，生成器仍可能执行失败。可灵报告把这些环节放在一起讲，因为同一个成片症状可以对应不同的上游原因。论文引言

报告中的 Kling-MLLM 是供多种任务复用的理解模型，能处理图像、视频、音频及同步音视频。团队在这个底座上训练面向标注、改写、编码和打分的专用模型。实际合成视频的模块是扩散 Transformer，简称 DiT。这个分工解释了为什么作者既测视频描述和理解，也单独测生成结果。论文第 2 节

2 训练标注如何描述动作和参考素材

2.1 把一段视频拆成可核对的事实

视频标注（caption）是训练时与视频配对的描述。对前面的例子来说，「女孩撑伞走进学校」虽然大致贴合画面，却省掉了收伞发生的地点和时机。生成器若经常遇到这种描述，就很难从训练样本里学到「在门口先合伞」应当对应哪段画面。

可灵采用面向生成的细粒度标注。团队在离线流程中让专用模型提取动作、运镜和镜头边界等信息，再合并描述、处理冲突并检查覆盖率。随后用这些结果训练可单次运行的标注模型。评测时，作者逐条核对能从原片确认的事实，这样能区分「文字写得长」和「多写对了一条关键动作」。论文第 3 节

例如，第一镜头若有一声关伞的卡扣声，标注需要能把这声响和对应动作联系起来。写成「伴随环境音」虽然稳妥，却少了一条可供生成器学习的时间关系。反过来，标注人员在听不清时补写一句对白，也会向模型提供错误监督。颗粒度越细，核对来源的工作就越重要。

2.2 参考图只约束用户指定的属性

参考素材往往同时带着很多信息。人物照里可能有脸、衣服、站姿、背景和光线，用户却只想复用其中两项。报告把这种训练标注称为带参考绑定的标注（Reference-Grounded Captioning，RGC）。标注要说清哪个素材约束哪个人物、哪些属性、哪些时间段，并补写参考素材没有提供的内容。论文第 4 节

放回校园示例，可以把任务拆成三条可执行的约束。

范围	本例的约束
参考素材	IMG_1 提供主角的脸和校服，两个镜头沿用同一人物身份
场景与道具	使用雨后校园背景，主角拿红伞
事件顺序	第一镜头在校门口合伞，第二镜头进入教学楼

这样也改变了训练样本的来源。两段原本无关的视频如果有局部相似之处，例如不同的人做了同一个收伞动作，研究者就能把一段当动作参考，再写清目标片段里的人物与场景。每个配对都明确约束的范围，已有视频便可以用来训练局部控制。论文第 4.3 节

这类能力可以先用描述任务测量。ViDiC 要求模型写出两段视频的相同点和差异，可灵的 397B RGC 模型在报告中得到 78.89 的平均分。在多参考测试 MRVBench 上，同一模型的参考绑定分为 94.85，综合分为 90.31，后者低于同表 Gemini-4-Argon 的 91.22。表 12 的对象是模型输出的描述，因此要判断成片是否保住了人物身份，还需要单独评测生成结果。ViDiC 论文 · 表 12

3 提示词改写怎样影响成片

3.1 用真实视频标注训练改写模型

用户写的提示通常很短，视频生成器训练时却见过大量较细的镜头描述。提示词增强（Prompt Enhancement，PE）负责把短请求改写成模型熟悉的表达。团队从真实视频的标注出发，反推一条用户可能写出的请求，再用「短请求和完整标注」训练改写模型。训练时同时核对改写是否忠实于用户、动作和场景是否合理，以及表达是否足够生动。论文第 5.1、5.2 节

假如用户只说「进楼」，改写模型可以补上门口的积水反光来表现雨后环境。不过，改写若把「先合伞」换成「撑伞走进走廊」，就改变了明确的动作。这个例子里，反光是可以补充的镜头细节，收伞顺序是需要保留的条件。逐条核对两者比给整段改写打一个「好看」分更容易找出问题。

3.2 渲染后的得分能给改写模型补充反馈

只给文字打分时，评审看不到生成器会怎样执行。作者在训练中增加一轮闭环，让改写模型给出多条候选提示，由冻结的文本编码器和 DiT 生成视频，然后用视频评分更新改写模型。报告比较不同训练配置时固定生成器、采样器和种子策略。下表是表 13 的节选，配置逐步累加。论文第 5.3、5.5 节

提示词增强的训练配置	文字忠实度均分	文字合理性均分	StoryEval
用随机来源的视频标注做监督微调	4.02	3.95	65.42
累加优质视频来源、数据核验和文本强化学习	4.45	4.31	75.58
在上一配置上加入生成闭环强化学习	4.38	4.42	76.46

文字分采用 1 至 5 分。StoryEval 检查连续事件有没有完成，以及顺序是否正确。首行已经使用了提示词增强，所以这张表比较的是不同改写训练方式。只看最后两行，加入生成反馈后，StoryEval 高了 0.88 分，文字忠实度却从 4.45 降到 4.38。两项指标分别回答「视频有没有把事情演出来」和「改写有没有保留用户要求」，这组结果让两者的取舍变得可见。StoryEval 论文 · 表 13

报告还试了先修正故事逻辑，再检索相似视频的标注供改写模型参考。相对只做故事修正的配置，加入 Top-5 检索后，文字生动性由 4.26 升至 4.44，音视频生成指标 T2AV-Compass 由 76.03 降至 75.68。检索适合借鉴镜头语言和表演细节，它的收益还要结合目标任务判断。表 13

4 文本编码器能否把「先收伞」传给生成器

改写后的文本还需要经过文本编码器，转换成 DiT 可以使用的向量序列。理解这个接口可以看一组最小对照：「先在门外合伞，再进楼」和「先进楼，再在门内合伞」。两句文字共享大多数词，执行出来的镜头却明显不同。若只用整句的主题相似度比较，很容易忽略这类差异。

报告讨论了直接检查编码器隐藏状态的办法。研究者可以先用只改变一个属性的句子对筛选编码器，再把入选配置接入生成器做成片验证。相关研究 GRAN-TED 用 TED-6K 测试这种纯文本筛选方式。这个步骤的用途是缩小候选范围，最后仍由生成结果检验差异能否被 DiT 用上。论文第 6.1 节 · GRAN-TED

可灵在表 14 中控制了 DiT 主干、训练数据流和训练步数，由人工对照生成视频。相对同一个 Qwen 文本编码器基线，做多模态适配后总体偏好比为 1.10，融合多层特征后为 1.22，再加入条件稳定措施后为 1.27。这里的偏好比是 (胜＋平)/(平＋负)。比值高于 1 表示胜场多于负场，无法仅凭这个数还原胜率。实验说明这些改动在作者的内部分层测试上影响了生成结果。表 14

5 评测如何指出哪一步出了问题

报告把奖励模型分成两类。通用奖励模型 GRM 可以指出哪里出现了缺陷，并给出理由。决策奖励模型 DRM 用于更快地按维度比较候选视频。作者的内部成对测试中，DRM 的宏平均准确率为 77.86%，GRM 为 74.72%。但在多镜头指令遵循这一项，DRM 为 73.33%，低于 Gemini-4-Argon 的 86.67%。总体排序和具体能力的排序可以不同。表 17

编辑任务更能说明为什么要拆指标。假设在成片里把红伞改成蓝伞，同时保留人物、动作和雨声。原片直接交回会保住所有内容，却没完成编辑。重做整段则可能让伞变蓝，同时换掉女孩和环境。AVE-Compass 分别衡量指令遵循与原内容保留，并在编辑意图指标中把两项相乘。只做好其中一项，仍然拿不到高分。AVE-Compass 论文 · 论文第 8 节

把这套思路用于前面的例子，可以为每个失败先找一项能直接核对的证据。

成片症状	可直接核对的证据
第二镜头换脸	两个镜头是否引用同一身份，输出里何时开始变化
省略合伞动作	改写后的文本是否保留动作，成片中是否出现收拢伞面的过程
进楼和合伞顺序颠倒	输入的先后约束、两个事件在视频里的实际时间
改伞颜色时连校服也变了	指令指定的修改范围、编辑前后校服是否一致

这张表是对报告思路的应用示例。它能帮助确定先检查哪一段输入和输出。具体根因仍需要对照实验，例如固定生成器和采样策略，只替换改写文本，观察缺失的动作是否恢复。

6 证据范围与局限

这是一份跨多代可灵系统的技术报告。读表时需要区分测试对象。表 12 比较参考描述，表 13 比较改写训练方案，表 14 比较文本编码条件，表 17 比较奖励模型的判断。它们使用不同输入、指标和对照组，能回答各环节的问题，无法合成一张整套商用模型的排名。原文

报告公开了理解模型家族的规模和模块级实验，但没有给出每代商用 DiT 的完整配置，也没有逐版列出这些组件的组合方式。生成闭环的效果取决于实验里固定使用的生成器，换成另一款生成器后，提示词的表达方式和收益都需要重新测量。报告里关于多镜头、参考一致性和声音的部分展示了诊断方法，具体的部署成本和业务效果要放回对应场景看。论文第 2、5、8 节