minimax h3 工作流程概括
minimax h3 工作流原理分三步:
- 参考多媒体输入(音频,图片,视频,文本)通过 H3 上下文编码器 (H3-Context-IR)结构化上下文
- 把编码的信息交给 H3 基础模型输出 768p 的基础视频
- 把上下文交给高清修复模块根据 768p 的视频生成 2k 版本。
H3-Context-IR 对于视频结果的生成非常重要,强烈建议将它接入你的生成工作流;或者参考《提示词引导指南》,自行搭建上下文处理系统。
基于 ai 的补充:
- 关于第 1 步:“H3 上下文编码器结构化上下文”
补充细节:在 MiniMax 的多模态架构中,这一步不仅仅是简单的“打包”,它的核心在于跨模态对齐(Cross-Modal Alignment)。
无论是音频的梅尔频谱、图片的 CLIP/DINO 特征、还是文本的 Token,都会被映射到一个统一的潜空间(Latent Space)中。这也是为什么它能实现“原生音画同步”和“多参考图锁脸”的根本原因——因为模型在底层把不同模态的信息“看作了同一种语言”。
- 关于第 2 步:“H3 基础模型输出 768p 的基础视频”
补充细节:H3(Hybrid/Hierarchical 架构)在这里的核心优势是时空注意力机制(Spatiotemporal Attention)的效率。
它先在较低的分辨率(也就是你提到的 768p 左右基底)下,把整个视频的时序逻辑、运镜轨迹、人物动作、以及你刚提到的“自主生成音频/口型”彻底计算稳妥,确保大框架不崩、不闪烁、不穿帮。
- 关于第 3 步:“高清修复模块根据 768p 生成 2K 版本”
补充细节:这在业界通常被称为 Cascaded Diffusion / Super-Resolution Upscaling(级联超分扩散或时空超分模块)。
基础模型(Base Model)负责“把故事和动作讲对”,而这个高清修复/超分模块则专注于材质纹理、皮肤细节、光影质感的细化(就像你做的那样,把画面拉到 1440x800 甚至更高,保持电影级的质感)。
浙公网安备 33010602011771号