Voxtral 3 补齐转写、语音合成与 Agent SDK

人工智能

Mistral AI 刚刚发布了 Voxtral 3。这是一个语音模型家族，配套提供 voice Agent SDK，包含 3 个转录模型、1 个文本转语音模型，以及基于 LiveKit 构建的 SDK，将聆听、推理、工具调用和语音输出整合在一起。全部 4 个模型均已在 Mistral API 上开放公开预览。

模型规模：Voxtral Mini Transcribe 3 拥有 4B 参数。Small Transcribe 3 的参数量尚未披露。两个批处理模型标注的上下文窗口均为 32k。

运行环境：可通过 Mistral API 的欧盟、美国和全球端点使用，也可联系 Mistral 销售团队，在自有基础设施上部署。GPU 和 VRAM 需求尚未披露。Mistral 表示，Mini 适合资源受限的环境。

性能：在独立语音转文本排行榜上跻身前三，最突出的表现是说话人分离和多语言批量转录。

最佳表现：Small Transcribe 3 的 AA-WER 为 2.1%，在 Artificial Analysis 上排名第 3。

最弱表现：实时模型在 240 ms 延迟下，FLEURS 35 上的 WER 为 7.4%，而 Gemini 3.5 Realtime 为 4.2%。

Voxtral 3 家族包含哪些产品？

Mistral 列出了 4 个模型和 1 个 SDK：

• Voxtral Small Transcribe 3：旗舰批量转录与说话人分离模型。文档还列出了翻译、语音问答、摘要和 function calling 能力。
• Voxtral Mini Transcribe 3：一个 4B 参数模型，用于成本更低、速度更快的批处理任务。
• Voxtral Mini Transcribe Realtime 3：通过 WebSocket 提供流式 ASR，支持轮次结束检测。
• Voxtral Speech 3：文本转语音模型，发布文章中也称其为 Voxtral Mini TTS 3。

所有转录模型都支持说话人分离和上下文偏置。上下文偏置可以接收关键词或自由文本，以提高召回率。批量转录覆盖 50 种语言，包括欧盟的 24 种官方语言。

Voxtral voice Agent SDK 如何工作？

该 SDK 基于 LiveKit 构建，将 3 个阶段串成一条流式流水线。Realtime Transcribe 3 负责聆听，并检测来电者何时停止说话。Mistral Small 4 等通用 LLM 负责推理和调用工具。Voxtral Speech 3 则根据此前对话的语气作出语音回复。

每轮交互都能在 1 秒内完成。当来电者插话时，Agent 会停止说话。它通过 SIP 处理电话通话，通过 WebRTC 处理浏览器或应用内会话。由于每个阶段都使用独立模型，团队可以替换 LLM、声音或语言。

Voxtral Transcribe 3 的准确率如何？

以下数据由 Mistral 自行报告：

• FLEURS 45（WER，指定语言 / 推断语言）：Small 为 4.1% / 4.0%；MAI-Transcribe-2 同为 4.1% / 4.0%；Mini 为 4.6% / 4.5%；Whisper large-v3 为 16.0% / 14.9%。
• 说话人分离（cpWER，5 个公开数据集）：Small 为 18.4%，Mini 为 18.6%；Pyannote 为 19.0%，MAI-Transcribe-2 为 20.3%。
• 关键短语召回率（Earnings 22）：Small 在提供上下文时为 94.6%，未提供上下文时为 81.4%；Scribe v2 的对应成绩为 94.3% 和 84.0%。

在 Artificial Analysis 上，Small 的 AA-WER 为 2.1%，Mini 为 2.2%。只有 Fun-Realtime-ASR-preview（1.7%）和 MAI-Transcribe-2（2.0%）排名更高。差距主要在速度：Small 的速度倍率为 65.8x，而 MAI-Transcribe-2 为 307.5x。

实时转录和 TTS 的表现如何？

在 FLEURS 35 上，实时模型需要在延迟和准确率之间取舍。延迟为 2,400 ms 时，WER 为 5.7%；延迟为 480 ms 时，WER 为 6.4%；延迟降至 240 ms 时，WER 升至 7.4%。Gemini 3.5 Realtime Transcribe 的 WER 为 4.2%，MAI-Transcribe-2 Streaming 为 5.8%。GPT Live Transcribe（8.4%）和 Scribe v2 Realtime（8.7%）则落后于 Voxtral 的所有延迟配置。

Voxtral Speech 3 的价格为每 100 万字符 $13。Mistral 表示，这一价格低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash。模型提供情绪、语速和重音的显式控制。模型页面标注，首段音频生成时间约为 90 ms，并提供 34 个情绪标签。Pro Voice 可以根据 30 分钟的音频适配说话人的风格。Artificial Analysis 将其列入两个 TTS 竞技榜单的前 12 名。

Voxtral 3 与 MAI-Transcribe-2、Scribe v2 和 Gemini 3.5 Transcribe 对比

对比项	Voxtral Small Transcribe 3	MAI-Transcribe-2	ElevenLabs Scribe v2	Gemini 3.5 Transcribe
开发商	Mistral AI	Microsoft AI	ElevenLabs	Google
参数量	未披露（Mini：4B）	未披露	未披露	未披露
支持语言数	50	60	90+	85+
FLEURS 45 WER，指定语言 / 推断语言（Mistral）	4.1% / 4.0%	4.1% / 4.0%	4.9% / 4.9%	6.1% / 4.5%
说话人分离 cpWER（Mistral）	18.4%	20.3%	23.0%	38.4%
AA-WER（Artificial Analysis）	2.1%	2.0%	2.2%	2.6%
AA 速度倍率（Artificial Analysis）	65.8x	307.5x	65.4x	89.5x
每 1,000 分钟价格（Artificial Analysis）	$4.00	$1.67	$3.67	$5.00
厂商标价	$0.004/min	$0.10/hour，限时优惠	$0.22/hour	按 token 计费，参见 Google 定价

Voxtral 3 的价格是多少，可以在哪里运行？

根据 Mistral 的价格表：

• Voxtral Mini Transcribe 3（批处理）：$0.0035/min
• Voxtral Small Transcribe 3：$0.004/min
• Voxtral Mini Transcribe Realtime 3：$0.008/min
• Voxtral Speech 3（批处理和实时）：每 100 万字符 $13
• Voice Agent API：使用 Mistral Small 4 时为 $0.04/min，使用其他任何推理模型时为 $0.08/min

这些模型可在 Mistral 的欧洲、美国和全球端点上运行。OpenRouter 也上架了全部 3 个新模型，提供托管于欧盟、零数据保留的端点。

• Voxtral 3 整合了 3 个 ASR 模型、1 个 TTS 模型，以及一个 LiveKit voice Agent SDK。
• Small Transcribe 3 的 AA-WER 达到 2.1%，在 Artificial Analysis 上排名第 3。
• 说话人分离成绩在对比表中最佳：cpWER 为 18.4%，领先于 Pyannote 和 MAI-Transcribe-2。
• 批量转录价格为每分钟 $0.0035 至 $0.004；TTS 价格为每 100 万字符 $13。
• 实时转录准确率落后于 Gemini 3.5 Realtime，且此次未宣布开放模型权重。

欢迎查看 Voxtral 3 的发布公告、音频文档和模型页面。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万多名成员的机器学习 SubReddit，并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在也可以在 Telegram 上加入我们。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的创业者和工程师，Asif 致力于发挥人工智能的潜力，推动社会公益。他最近的一项事业是推出人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻见长，内容既有扎实的技术基础，又能让广泛读者轻松理解。平台月浏览量超过 200 万，体现了它在读者中的受欢迎程度。