MiniMax H3：统一视音文理解与生成的多模态模型

今天，我们正式发布 MiniMax H3。这是一款通用的全模态生成模型，支持对文本、图像、视频、声音组成的多模态上下文的统一理解能力、能够输出具备原生双声道的音视频，最高可支持 15s 2K 分辨率。

根据前期的邀测反馈，MiniMax H3 具备商用级的多场景内容生成能力，在指令遵循、文字与品牌信息呈现、V2V Motion Transfer（视频到视频动作迁移）等方面表现出色，可实现精准、可控的多模态内容编辑与生成，广泛适用于广告、品牌、电商、产品设计、UI/UX、游戏等商业场景。

同时，得益于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer、In-context Regeneration 等多项技术，我们有能力提供行业内最优的性价比。我们默认提供 2K 的分辨率，模型在 2K 分辨率下每秒价格不到主流模型的 1/3，768P 分辨率下是主流模型 720P 的 1/2。

长期以来，闭源模型一直占据视频生成领域的主导地位，迭代速度和生态开放性落后于大语言模型等领域。为了推动开源社区的发展、加速国产芯片适配（H3 设计初期就考虑了多款现有国产芯片的兼容性），以及方便有需要的用户定制自己的版本。我们计划在未来几天内，在符合相关法律法规的前提下，开放模型权重。

真实创作需要融合不同模态的复杂信息，同时引入图片、声音、视频等多模态信息源。如下面这个镜头 prompt 为"参考视频 1 的希区柯克镜头运动，让图 2 中的人物唱歌，歌声参考音频 3"。通过语言描述清楚上下文和目标视频的关系，复杂的全模态理解工作 H3 会自己完成。

我们之前研发过两代模型：Hailuo 01 从 0 到 1 构建系统、Hailuo 02 专注于架构效率、数据质量和规模等核心组件的提升。

在 H3 的设计过程中，我们意识到过往生成模型在任务上的局限性：图片生成往往分为独立的 T2I/Editing/主体参考/动作参考/风格参考等为独立的专家模型，声音生成中的人声、音效、音乐也多作为独立的领域被研究，视频生成更是分为文生视频、图生视频、首尾帧、主体参考、动作参考、音色参考、视频编辑等细分功能；图像、视频、音频之间也有着清晰的边界。

这些任务/能力/模态的隔离限制了使用上的自由度，也从训练范式上限定了模型的泛化能力。这两点对应着应用范式和训练范式的巨大变革空间。因此，H3 构建过程的第一纲领，即是任务的统一和泛化。

基于此，简要概括一下 H3 的预训练范式——

• 带有联合的音频生成，所有的音频输出都是原生的双声道模式

• 完全由真实自然数据构成，从而具备良好的数据扩展性

• 由自然语言表述参考和编辑关系，不局限于有限任务；语言（或者说，广义的智力结构）是泛化的桥梁

• 尽可能简洁、通用、高效的架构，一切为了任务泛化服务

• 尽可能早融合各种类型的数据和任务，合适的配比是关键

这些选择导向同一个目标：让 H3 在预训练阶段就具备广泛的多模态上下文理解和生成能力。

应用形态的变革

前面我们讨论了训练范式的变化，视频模型的应用形态正在发生怎样的变化呢？

我们看到，创作者可以直接用自然语言描述任务，而不仅是输入一段简单的画面 prompt。随着多模态理解、指令遵循和复杂任务执行能力持续提升，视频模型将能够理解更完整的创作意图，处理更复杂的内容需求，并逐步从"生成一段视频"，走向真正参与内容生产的全过程。

Contextual Omni Representation

在训练 H3 的工程中，我们最重要的一件事情是增加 Caption 能力。

多模态上下文的引入使得 Caption 的定义被进一步泛化，我们不止需要描述目标视频，还需要描述上下文和目标视频之间的关系，甚至是上下文内元素之间的关系。

我们需要联合描述视频和音频，而多镜头下的音视频关联又更加复杂。

这本质上是一种 Contextual Omni Representation。语言在其中起到了可泛化的连结和解释作用，并让"任务"以一种开放描述的形式得到统一，这是 H3 广泛的指令理解能力的根源。

为了达到上述目标，我们定制了专门的模型和全模态理解管线，大部分素材需要消耗 100K Token 的推理，最终得到平均约 4K 的 Token。

Tokenizer 的革新

H 系列模型一直在 tokenizer 技术上保持着持续的探索。H3 一代我们彻底革新了前代的 tokenizer 技术，在重建和易学性上取得全面的提升，使得 H3 在效率上可以取得有竞争力的效果，同时其高压缩率带来了 4 倍的序列长度收益，大幅降低了训练和推理成本，这也是支持我们提供原生 2K 分辨率的关键技术。

H3-Omni Transformer，面向任务泛化的架构选择

基于 H3"架构应服务于任务"的设计理念，通用和高效是唯二的目标。值得一提的是，我们抛弃了曾经给我们带来显著架构优势的 Hailuo-02 架构，因为它在以任务泛化为核心的模型定义中会带来额外的复杂性，而我们相信"任务泛化"是不可逆转的趋势，架构技巧应为模型定义让路。

在 H3 中，由于多模态上下文的引入，序列长度方差大了 3 倍，理解与生成部分的计算 workload 也开始显著的异质化。我们采用了理解与生成异构的训练架构，精细调优不同 workload 下的硬件利用率，并联合考虑每样本异构计算 x 样本间的负载均衡，端到端提升了近 30% 的训练吞吐。

In-context Regeneration

对于 H3 的 2K 分辨率输出，我们没有选择常规的专用超分模块，而是用 H3 基模对自己的低分辨率结果进行 in-context 的重新生成。

这样做带来了两方面优势：1. Regeneration 过程可以最大程度的复用 H3 基模已经具备的生成能力；2. In-context 的形式可以再次利用原有的多模态上下文信息进行高分辨率输出，从而超越了传统超分方案靠"猜"无法还原的信息，例如一些小文字和细节。

In-context Regeneration 也是任务泛化的一种体现。

后续我们会发布更加详细的 H3 Tech Report，欢迎更多的朋友们交流。

多模态的理念

语言、图片、视频、音频是广泛存在的自然模态，它们紧密交织在一起，是人与世界交互的基本媒介。由它们构成的多模态上下文，可以高效的表达广泛的信息，而信息的表达和传递本身就是一种生产力。

对于多模态理解和生成来说，我们可以把语言看作一套可泛化可 Scaling 的计算系统，因此我们认为多模态应该紧密关联语言。

后续提升方向

H3 目前还存在一些局限性，以下是我们后续版本会提升的方向：

• 生成能力的最重要基础是多模态上下文的理解能力，这里有巨大的提升空间，我们后续会推动 H 系列的下一个版本与 M 系列模型能力的融合。

• 模型规模的限制使得 H3 在一些能力的完成度上仍有一些提升空间，Scaling 是明确的方向，我们相信任务的泛化会给模型 Scaling 带来充分的发挥空间。

• H3 在部分场景下的画面精细度仍需提升，我们会持续追求更高分辨率和更精细的画质。

Intelligence with Everyone.