英伟达开放多语种转录与说话人归属模型

Nemotron 3.5 Transcribe 想解决的，不只是把录音变成文字，还包括分清谁在说话、处理重叠发言，以及翻译和音频问答。英伟达同时公开了训练数据管线 Granary v2，让外界能看到多语言语音训练数据如何被整理成不同任务。

对开发者来说，值得关注的是它把多项音频能力放进了同一个模型。但「开放权重榜单领先」和「8 人抢话也能精准转录」之间，仍有需要核对的前提。

能识别 8 名说话人，不等于验证了 8 人同时抢话

据原文，英伟达于 10 月 28 日发布 Nemotron 3.5 Transcribe，IT之家于 10 月 29 日报道。模型面向会议纪要、课堂录像、访谈整理和多语言客服，整合了转录、说话人归属、翻译和音频问答。

这里的「说话人归属」，就是除了写出说了什么，还要标明这句话属于谁。模型可以在生成文本时为每段发言标注说话人，对会议记录很有用。

它采用混合专家（MoE）架构，总参数约 340 亿，激活参数约 43 亿。可以理解为每次计算只调用部分专家，但不能据此推断整套模型只需要容纳 43 亿参数的显存。

能力范围要分别看：

• 最长可处理 1 小时录音，支持 40 种语言转录。
• 其中 31 种语言可与英语互译，原文没有说支持任意语言之间直接互译。
• 最多区分 8 名说话人，说话人标注支持 13 种语言。

官方用 1940 年电影《他的女友礼拜五》的片段演示了快速、重叠对白的分角色字幕。这能展示能力，但原文没有提供「8 人同时说话」的专门测试结果。

最多区分 8 人，是说话人数上限；8 人同时抢话的准确率，原文没有给出。

三个榜单成绩，不能合并成一个「最强」

原文列出了三组公开评测：

评测	报道中的结果	应该怎样理解
Hugging Face Open ASR Leaderboard 英语组	平均词错误率 5.33%，开放权重模型第一	对应英语转录，不能直接代表全部 40 种语言
Artificial Analysis 非流式词错误率指数	2.8%，与 Voxtral Small Transcribe 并列开源模型首位	对应非流式评测，不能据此判断实时字幕表现
David AI 的 21 种语言说话人分离基准	错误率 18.26%，为最低值	衡量说话人归属相关表现，与转录词错误率不是同一个指标

词错误率（WER）衡量转录文字相对参考答案的错误程度，越低越好。不过，不同榜单的数据和测试条件可能不同，5.33% 与 2.8% 不能直接拿来比较。

另外，「21 种语言的评测基准」与「支持 13 种语言说话人标注」是两种口径，原文没有解释它们如何对应。

模型已在 Hugging Face 和 ModelScope 免费开放，采用 OpenMDW-1.1 许可证。原文称，量化版本预计后续发布，便于在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行。它没有给出现有版本的显存需求、处理速度和部署成本，也没有展示实时转录测试。

Granary v2 的价值，是让同一段录音有不同写法

配套公开的 Granary v2，是面向多语言语音模型的开放、可复用训练数据整理管线与数据集。它把原始或已有标注的音频，自动加工成转录、翻译、字幕、问答和指令对，用于自动语音识别（ASR）、语音翻译和语音指令微调。

公开清单覆盖 463,062 小时音频、48 种语言、16 个源语料库；Granary v1 则覆盖 25 种语言。这里的 48 种是数据覆盖范围，不能替换成模型支持的语言数量。

更容易理解的设计，是同一段录音至少生成三种转录变体：

格式	输出规则	原文示例
tn_raw	保留「呃」「嗯」等表达，规范化文本形式	I paid, uh, twenty-five euros.
itn_raw	保留不流畅表达，把口语数字还原成书面符号	I paid, uh, €25.
itn_clean	使用书面符号，并去掉不流畅表达	I paid €25.

这些变体对应模型可被提示要求的不同书面风格。访谈逐字稿需要保留犹豫和停顿，供人阅读的记录可能更适合干净文本，训练数据因此需要覆盖不同输出目标。

不过，itn_clean 仍然是转录文本，不能直接当作已经提炼结论、行动项的会议纪要。

我的判断

我更看重的是说话人归属和转录风格控制。它们直接关系到结果能否使用：一句话归错人，或者金额写法不符合业务要求，即使文字大体正确，后面也得返工。

但标题中的「最强」需要收窄到具体榜单和任务。原文转述了公开评测与官方演示，没有提供一般团队自行复现的结果，也没有与「转录模型加独立说话人分离模块」的组合方案做对照。哪个方案更快、更省资源，目前不能下结论。

这是一款值得纳入测试的开放权重模型，还不是可以免验收接入的会议系统。

能拿来做什么

• 做会议或访谈工具时，选取已经获得使用授权的业务录音，分别检查文字、说话人归属和重叠发言，避免只看总转录效果。
• 在前端提供「保留口头表达」与「清理口头表达」的输出选项，并核对数字、金额是否符合预期，减少用户手动整理。
• 用 Node 搭建音频处理服务前，先确认目标语言是否同时支持转录、翻译和说话人标注，再实测耗时与资源占用；需要实时字幕时，另行验证流式能力。