MiniMax-Music3 是开源权重模型,输入歌词和结构化描述即可一次性生成最长 5 分钟、32kHz/16bit 立体声 WAV 歌曲,架构和三种服务路径已公开。
MiniMax 发布了 MiniMax-Music3,一款开源权重文本转音乐模型。该模型接受两个独立输入:带有分段标签的歌词,以及一段详细的音乐描述。它在单次生成中返回最长五分钟的完整歌曲,格式为 32 kHz、16-bit 立体声 WAV。架构采用 Hybrid-LM(8B Global LLM + 0.6B Local LLM)配合基于 flow matching 和 Flow-VAE 的连续合成栈。权重、推理代码和三条有文档的 serving 路径于同日发布。
是的,MiniMax 在第一天就发布了可用权重、推理代码和三条有文档的 serving 路径,所以这是可部署的,而非研究预览。
公司层面:独立创作者、独立工作室和中型团队可以直接基于此上线。MiniMax-Music3 Community License 允许商业使用,但要求你在产品 UI 中显著展示"MiniMax-Music3",且任何组织基于这些产品的年合并收入超过 2000 万美元者,必须获得 MiniMax 的单独事先书面授权。任何托管第三方生成的组织还必须实施并维护防范侵权输出的保障措施。
行业层面:游戏开发、广告与品牌代理商、短视频与创作者工具、在线学习、播客、健身与健康应用、零售店内音频,以及音乐科技 SaaS。
应用场景:UGC 视频的背景配乐、自适应游戏与关卡音乐、本地化广告背景音乐与声音品牌、词曲作者的草稿与演示曲目、情绪条件化播放列表生成,以及以每首歌 API 成本为约束的离线批量生成。
MiniMax-Music3 将分层自回归栈与连续合成路径相结合。
训练 tokenizer 使用八层残差向量量化(RVQ)。第一个语义码本有 16,384 个条目,携带核心音乐语义与结构。其余七个声学码本各含 1,024 个条目,编码残差细节。训练时先优化语义层,再联合优化全部八层。
Hybrid-LM 将建模问题进行了拆分。8B Global LLM 逐帧预测第一个 RVQ 码本并维持长程结构;0.6B Local LLM 预测每帧内其余的码本。模型卡和许可证注明 Global LLM 从 Qwen3-8B 初始化;MiniMax Research 帖子写的是 Qwen3.5-8B,因此以 Base checkpoint 以哪个为准尚无定论。
合成阶段是更有意思的设计选择。MiniMax 没有从离散 RVQ token 解码,而是将两个 LLM 的最终隐藏状态融合,并以此为条件驱动一个 2.4B flow-matching 模块,该模块映射到一个由 123M Flow-VAE(继承自 MiniMax Speech)解码的潜在空间。推理时离散 tokenizer 解码器根本不会被加载。
歌词在其各自行上携带歌词与分段标签:[Intro]、[Verse]、[Pre-Chorus]、[Chorus]、[Post-Chorus]、[Bridge]、[Instrumental]、[Solo]、[Outro]。独立的 Structured Caption 携带 Global Metadata、Vocal Details 和 Arrangement。MiniMax 还提供了一个 music-caption-rewriter agent skill,可离线将简短描述扩展为三段式格式。
Interactive explainer
三条有文档的路径。SGLang-Omni 是参考服务器;GitHub 页面注明需要两块 CUDA GPU,GPU 0 运行 Qwen3 和 RVQ 自回归生成,GPU 1 运行 flow matching 和 DAV 解码。diffusers 模块化 pipeline 在全精度下占用低于 24 GB VRAM,约 22 GB 开启自动 CPU offload,最低可至 8 GB 使用 leaf-level group offloading。ComfyUI 有原生 Text to Music 模板,使用来自 Comfy-Org 重新打包的 FP16/INT8 权重。
开源权重模型,单次生成完整五分钟歌曲,32 kHz、16-bit 立体声,于 2026 年 8 月 13 日发布。
Hybrid-LM 设计:8B Global LLM 加 0.6B Local LLM,驱动 2.4B flow matching 和 123M Flow-VAE。
合成在融合的连续隐藏状态上运行,完全跳过离散 tokenizer 解码器。
可通过 SGLang-Omni 运行在两块 GPU 上,通过 diffusers 控制在 24 GB 以下,或以 group offloading 降至 8 GB。
允许商业使用,需显著展示归属信息;年收入超过 2000 万美元需书面授权。