豆包的视频是怎么生成的？从 Seedance 原理到 AI 漫剧制作

现在使用豆包生成视频，通常只需要输入一句话，或者附上一张图片、一个视频，等待一段时间后就能得到一段完整的动态画面。很多人会好奇：它到底是把图片一帧一帧“动起来”，还是在真正生成一段视频？模型又是怎样学会人物、动作、镜头和声音的？

结合字节跳动 Seed 团队公开的 Seedance 技术资料，可以对这套系统建立一个比较清晰的认识。需要先说明的是，豆包产品内部的全部模型和工程细节并没有公开，下面的内容分为两部分：一部分来自官方技术报告和产品文档，另一部分是根据公开的扩散模型机制做出的合理解释。

一、豆包和 Seedance 是什么关系

豆包是面向用户的应用产品，Seedance 是字节跳动 Seed 团队公开发布的视频生成模型系列。不同产品入口、账号和时间点可能使用不同的模型版本，因此不能简单地认为所有豆包视频任务都固定对应某一个模型 ID。

从公开资料看，Seedance 系列大致经历了这样的发展：

版本	主要能力
Seedance 1.0	文生视频、图生视频、多镜头叙事和高速推理
Seedance 1.5 Pro	原生音视频联合生成和音画同步
Seedance 2.0	文字、图片、视频、音频的多模态参考、编辑和延长
Seedance 2.5	更长的叙事、更多参考素材和更细的时间段编辑

从产品体验上看，视频生成模型的发展方向已经从“生成一个画面片段”，逐步转向“根据创作者的意图完成一段视听创作”。

二、生成一段视频时，模型做了什么

可以把生成过程概括为：理解输入、生成时空内容、解码输出和后期处理。

1. 理解文字和参考素材

用户输入的文字、图片、视频和音频，会先被转化为模型能够处理的内部表示。模型需要理解的内容包括：

• 画面中有哪些人物、物体和场景；
• 人物的外观、服装、姿态和身份；
• 物体之间的空间关系；
• 人物如何运动，镜头如何移动；
• 音乐、对白和环境声有什么节奏或情绪；
• 每一个参考素材分别承担什么作用。

例如，一张人物图片主要可以用来约束人物外观，一段参考视频更适合约束动作和运镜，一段音频则可以作为音乐、对白或音色参考。模型要做的不是简单地把素材拼在一起，而是理解这些素材之间的关系。

2. 在视频的时空表示中生成

视频生成模型通常不会直接在原始像素上逐帧绘制完整画面，而是先把视频压缩到更适合计算的视觉潜空间中。随后，模型从带有噪声的视觉表示开始，在文字和参考素材的约束下反复去噪，逐步得到清晰、连续的视频内容。

可以简单表示为：

文字、图片、视频、音频
          +
    随机噪声视频表示
          |
    多次去噪和时空建模
          |
    视频潜空间表示
          |
       解码成帧
          |
    音频和后期处理
          |
       输出视频

这里的关键是“时空建模”。模型不仅要知道一帧画面长什么样，还要知道下一帧应该如何变化。例如人物抬手时，手臂要沿着合理的轨迹移动；镜头向前推进时，前景和背景的变化速度要有所区别；人物转身之后，服装、脸部和身体比例还要保持一致。

Seedance 1.0 的公开资料提到了空间层和时间层解耦、时间窗口注意力以及多模态旋转位置编码 MM-RoPE。这说明模型会分别处理单帧内部的空间关系和跨帧的时间关系，再把两者结合起来完成视频生成。

3. 解码、音频和产品层处理

模型生成的视觉潜表示需要经过解码，恢复成真实的视频帧。之后还可能经过超分、格式编码、音频封装、水印处理和内容安全检查。

对于用户来说，这些步骤通常被隐藏在产品后面。对于开发者来说，视频生成一般是一个异步任务：先创建任务，得到任务 ID，再查询任务状态，最后下载生成的视频文件。

三、模型是怎样学会生成视频的

1. 收集和筛选大量视频

模型首先需要接触大量不同类型的视频，包括人物表演、自然景观、广告、动画、体育、影视片段和日常生活场景等。数据并不是越多越好，还需要经过清洗和筛选。

公开资料提到的处理方向包括：

• 按主题、风格、时长、分辨率和镜头运动进行分类；
• 自动检测镜头边界，将长视频切成有意义的片段；
• 根据物体检测结果进行自适应裁剪；
• 过滤低清晰度、严重抖动、画面损坏和重复视频；
• 用审美模型和运动评估模型筛选训练价值更高的片段。

视频数据还需要尽可能覆盖不同的动作幅度、拍摄角度、光照条件和人物关系。只有数据足够多样，模型才不会只会生成少数几种固定风格。

2. 为视频生成准确的文字描述

普通的视频标题通常只能说明“画面里有什么”，却不能完整描述“画面发生了什么”。例如，“一个人在街上跑步”远远不够，还需要知道人物的运动方向、步伐变化、镜头是否跟随、背景中有什么变化。

因此，Seedance 1.0 的公开资料介绍了专门的精准视频描述模型。它同时描述静态信息和动态信息：

• 静态信息包括人物、物体、场景、服装、光照和风格；
• 动态信息包括动作、镜头运动、速度、节奏和主体之间的关系。

这些详细 caption 会和视频组成更高质量的训练样本，帮助模型理解自然语言和视频运动之间的对应关系。

3. 从图像训练逐步过渡到视频训练

图像比视频更容易训练。图像可以帮助模型先学会人物外观、空间构图、材质和风格；视频训练则进一步增加时间连续性、动作规律和镜头变化。

因此，一种常见的训练思路是先进行图像和文字的联合训练，再逐步加入视频片段，提高视频分辨率、帧率和运动复杂度。Seedance 1.0 的公开报告也介绍了图像、视频联合训练和多任务统一建模的思路。

4. 继续训练薄弱任务

预训练之后，模型通常还会针对薄弱能力继续训练。例如，图生视频样本的比例可能需要提高，动作更丰富、画面质量更高的数据也需要被单独筛选出来。

这个阶段主要解决以下问题：

• 参考图约束不够强；
• 人物身份容易漂移；
• 动作不够自然；
• 图像中的静态元素无法稳定延续到视频中。

5. 使用高质量数据进行监督微调

监督微调，也就是 SFT，会使用人工精选的高质量视频和文字描述，让模型进一步学习什么样的结果更符合创作要求。

这个阶段通常会重点改善：

• 是否完整执行提示词；
• 人物、物体和场景是否稳定；
• 动作是否自然；
• 画面是否美观；
• 多个镜头之间是否保持主体和叙事一致。

6. 用多维度奖励模型进行偏好优化

视频不能只用一个“好不好看”的分数来评价。一个画面可能很漂亮，但人物动作不自然；另一个画面动作很大，却存在结构崩坏。

Seedance 1.0 公开介绍了三类奖励模型：

1. 基础奖励模型：关注文字和画面的匹配，以及结构稳定性；
2. 运动奖励模型：关注动作自然度、运动幅度、伪影和稳定性；
3. 美学奖励模型：关注关键帧的构图和视觉美感。

Seedance 1.5 Pro 进一步把音频质量、视觉质量和音画同步纳入联合优化。这样模型不只是生成“会动的画面”，还要尽量生成符合人类观看习惯的视听结果。

7. 通过蒸馏和工程优化提高速度

扩散模型往往需要多次迭代去噪，视频又比图片包含更多数据，因此计算成本很高。公开资料提到的加速方向包括：

• 多阶段蒸馏；
• 低步数生成；
• 轻量 VAE 解码器；
• 算子融合；
• 量化和稀疏计算；
• 自适应并行和异步卸载。

Seedance 1.0 的技术报告曾报告过 5 秒 1080p 视频在 NVIDIA L20 上约 41.4 秒的测试结果。对于实际产品来说，生成质量、速度和成本需要同时平衡。

四、多镜头和多模态参考是怎样实现的

多镜头不是简单拼接

如果模型只生成独立图片，再把图片串起来，人物和场景很容易在镜头之间发生变化。视频模型需要直接学习时间顺序和镜头之间的关系。

Seedance 1.0 的公开技术路线支持在统一框架中学习多镜头生成，并通过多模态位置编码处理视觉 token 和文本 token 的位置关系。这样模型可以理解“先拍近景，再切到中景，最后拉远”的叙事结构。

不过，多镜头能力并不意味着可以把一部长片一次生成。镜头越长、角色越多、动作越复杂，保持一致性的难度就越高。实际制作仍然应该按照镜头拆分，再通过首尾帧、参考视频和后期剪辑完成衔接。

不同参考素材承担不同任务

参考素材	更适合约束的内容
参考图	人物外观、服装、道具、构图、风格和场景
参考视频	动作、运镜、节奏、表演方式和第一视角
参考音频	音色、音乐旋律、对白、音效和节奏
文字分镜	叙事顺序、时间点、镜头意图和限制条件
白模或结构参考	空间关系、姿态、机位、运动轨迹和光照方向

一张人物立绘适合锁定角色外观，但不一定能精确控制复杂打斗动作；一段动作参考视频适合迁移动作，却可能改变人物服装和背景。因此，使用参考素材时，首先要明确它的任务。

五、AI 漫剧为什么必须按镜头制作

以《废神：刑天》第一章的分镜为例，这一章共设计了 7 个场景、80 个镜头，总时长 600 秒。其中：

• 48 个图生视频镜头，共 367 秒；
• 16 个合成镜头，共 109 秒；
• 16 个静帧动效镜头，共 124 秒；
• 画面规格为 9:16 竖屏、1080×1920、24 fps。

这个案例说明，AI 漫剧不是“输入小说，输出成片”的单一步骤，而是一条完整的制作链路：

小说或剧本
  -> 角色和场景设定
  -> 分镜表
  -> 角色、场景和道具参考图
  -> 镜头级图生视频或静帧动效
  -> 文字、界面、粒子和特效合成
  -> 配音、音效和音乐
  -> 连续性检查与剪辑

1. 角色素材包

主要角色至少需要准备正面、侧面、3/4 侧面、全身和不同状态的参考图。角色的服装、伤势、发型、左右关系和常用道具也要固定下来。

例如，陈野需要区分送餐、拳台和受伤后的服装状态；小满需要区分现在的状态和旧照片中的状态；刑天神影则需要分别准备半透明显影、江边完整虚影和胸目近景等版本。

2. 场景素材包

场景不仅是一张背景图，还包括空间关系、主光方向、色彩和关键道具位置。出租屋中的挂历、住院通知、旧合照、折叠桌和书包，都应该作为连续性道具管理。

如果每个镜头都重新生成房间，桌子、门、窗户和灯光很容易发生变化，观众会感觉人物突然进入了不同的地点。

3. 道具和文字单独处理

手机界面、病历单、招牌、账单和短信等内容不适合完全交给视频模型生成。模型目前仍然容易生成乱码，或者让文字在连续帧中变形。

更可靠的做法是：生成干净的手机屏幕或纸张画面，再在后期软件中排版文字。铁桶、拳套、碎玉、书包等关键道具，也可以单独准备参考图，减少镜头之间的漂移。

4. 声音分轨

角色对白、电话滤波、雨声、江风、拳击声、提示音、神影低频声和背景音乐最好分开保存。模型生成的声音可以作为草稿或氛围层，关键对白和叙事音效则更适合在后期精确控制。

六、适合用来测试的视频镜头

对于一个新项目，不建议一开始就生成完整长片。可以先选择能够覆盖主要风险的短镜头：

测试内容	主要验证能力
兄妹双人对话	人物身份、视线、手部和室内连续性
普通拳击动作	动作连贯性、受力和镜头轴线
无头神影显现	特殊角色结构、比例和光影稳定性
左拳击中铁桶	单一动作、物体变形和冲击特效
手机短信收尾	屏幕合成、文字排版和叙事节奏

复杂镜头不一定要让模型一次完成。例如神影显现可以拆成人物、神影、光效和背景几个层次，铁桶爆裂可以使用独立的变形关键帧和粒子效果。这样通常比要求模型一次完成所有动作更稳定。

七、怎样写更有效的提示词

提示词不应该只写“一个人打出很有力量的一拳”，而应该把镜头和限制条件说清楚。可以采用以下结构：

任务类型：图生视频、首帧图生视频或参考视频编辑
主体：人物身份、服装、状态和画面位置
场景：地点、时间、主光和关键道具
构图：景别、机位、画幅和左右关系
动作：按时间顺序描述一到三个主要动作
镜头：固定、推近、后拉、侧向跟拍或仰拍
连续性：必须保持的人物、道具、伤势和方向
声音：对白、环境声、音效或是否静音
限制：不改变角色、不新增人物、不改变左右、不生成文字

例如，铁桶击打镜头可以写成：

9:16 竖屏，7 秒，电影感二维写实国漫。沿用参考图中的陈野、刑天神影和锈铁桶，保持陈野在左、铁桶在右，保持左腿夹板和坐姿，右脚承担支撑，左腿不负重。前 3 秒陈野坐着蓄力，左拳靠近铁桶；第 4 秒只完成一次左拳直击，铁桶先向内凹陷，接触瞬间短暂停顿；最后 2 秒停在铁桶将裂未裂的状态。侧面固定机位，不绕轴，不新增人物，不改变服装，不让左腿站立。不要生成文字、额外武器、持续火焰或第二次出拳。

一个镜头中的主要动作不宜过多。准备、接触和结果可以放在同一个短镜头中，但如果还要加入复杂运镜、多人互动、特效和对白，最好继续拆分。

八、面向初学者的学习路线

第一步：建立生成基线

使用同一条提示词生成多次，观察模型的随机性；分别比较文生视频、首帧图生视频、首尾帧和参考视频，记录不同任务的优缺点。

第二步：测试人物和场景一致性

为一个角色制作正面、侧面、全身和双人参考图，再让角色出现在三个不同场景中。重点观察脸部、服装、体型、道具和左右关系是否稳定。

第三步：测试动作和摄影

分别测试固定机位、慢推、后拉、侧向跟拍和低机位仰拍。对于打斗、奔跑、扶人和递物，记录哪些动作可以直接生成，哪些动作必须通过静帧、遮罩或粒子合成完成。

第四步：测试编辑、延长和声音

使用已有视频测试主体替换、局部修改、运镜修改和视频延长，再比较模型原生声音与后期配音、音效的效果。

第五步：做一个短片段

先完成 30 至 60 秒，而不是直接做十分钟内容。短片段应该覆盖生活表演、双人关系、动作、特效、文字和声音等不同风险。

第六步：建立评分表

每个镜头可以从以下维度进行评分：

• 指令遵循；
• 主体一致性；
• 动作自然度；
• 镜头稳定性；
• 道具连续性；
• 音画同步；
• 是否可以直接剪辑使用。

评分的目的不是给模型排名，而是知道问题出在哪个环节。这样下一次修改时，才能判断应该换提示词、换参考图、缩短动作，还是改用后期合成。

九、公开资料能确认什么

根据公开技术报告，可以确认 Seedance 1.0 涉及多源视频数据、精准视频描述、空间和时间建模、多任务训练、监督微调、视频专用 RLHF、奖励模型和推理加速。Seedance 1.5 Pro 进一步公开了音视频联合生成方向。Seedance 2.0 和 2.5 则重点展示了多模态参考、视频编辑、视频延长和更长叙事能力。

但以下内容仍然无法从公开资料中确认：

• 豆包 App 当前具体使用的全部内部模型版本；
• 训练数据的总量、完整来源和版权处理细节；
• 模型参数量、GPU 数量、完整训练时长和完整损失函数；
• Seedance 2.0 和 2.5 的全部内部架构细节；
• 产品是否使用了未公开的提示词重写、镜头规划或后处理模块。

因此，在介绍这类模型时，最好区分“官方明确披露的内容”和“根据公开机制做出的推断”。这既能避免误解，也能让技术文章更加可靠。

结语

豆包视频生成的核心，并不是简单地把一张图片变成连续动画，而是在文字、图片、视频和音频等多模态条件下，学习画面内容与时间变化之间的关系。模型能力来自数据、架构、后训练、奖励模型和推理系统的共同作用。

对于 AI 漫剧和连续内容制作，真正重要的也不只是提示词。角色设定、场景管理、镜头拆解、参考素材、后期合成和质量评测同样决定最终结果。

最稳妥的方式，是把长内容拆成一个个可检查的短镜头，让模型负责它擅长的部分，再用合成、剪辑和声音设计把这些镜头组织成完整作品。

参考资料

1. Seedance 1.0 视频生成模型技术报告公开
2. Seedance 1.0 技术报告
3. Seedance 1.5 Pro：A Native Audio-Visual Joint Generation Foundation Model
4. Seedance 2.0 官方介绍
5. Seedance 2.0 发布公告
6. Seedance 2.5 发布公告
7. 火山方舟：Doubao Seedance 2.0 系列教程
8. 火山方舟：视频生成任务 API