IBM开源2B语音模型，支持转写与翻译

IBM 这次发布的 Granite Speech 5.0 2B，重点是把多语言转写、语音翻译和最多 2,000 个术语的识别偏置放进一个可本地部署的开放模型。它在英文榜单上排第二，但更值得开发者研究的，是专有名词识别和部署选择。

对国内程序员，选型时要分清：榜单成绩不等于会议录音效果，能在本地运行不等于实时可用，支持语音翻译也不能直接理解成支持中文转写。

2B 模型怎样把声音变成文字

Granite Speech 5.0 2B 是一个采用 Apache 2.0 许可证的稠密模型，参数规模为 2B，支持 6 种语言转写。它分三步处理音频。

首先，包含 16 个 Conformer 块的语音编码器使用 CTC 训练，对每个 4 秒音频块做块注意力计算。其次，2 层 window q-former 负责投影和压缩声音特征，总下采样倍率为 10 倍，让语言模型以 10 Hz 的频率接收特征。

最后，granite-4.0-1b-base 的一个中间检查点负责生成文本。IBM 用 YaRN 把它扩展到 16k 位置，再通过 LoRA 适配器微调。可以把这条链路理解为：先提取声音信息，再压缩输入，最后组织文字。

训练使用了 390,000 小时公开音频及合成数据，后者重点覆盖日语 ASR、关键词偏置和翻译；训练在 8 张 H100 上持续了 40 天。这些是训练投入，不能据此推算日常推理成本。

排名第二，为什么还要看最差成绩

按原文引用的 IBM 图表，截至 2026 年 10 月 21 日，它在 Open ASR Leaderboard 的平均英文词错误率（WER）为 5.68%，覆盖 9 个公开和 2 个私有测试集。WER 越低越好，领先的 Qwen3-ASR-1.7B 为 5.40%。

原文还指出一处口径冲突：IBM 博客给出 5.06%，但那是 10 月 15 日的非正式数字，只平均公开短音频测试集。不能拿它与 5.68% 直接比较。

比总排名更影响选型的，是不同录音条件下的误差。

它在 LibriSpeech Clean 上的 WER 为 0.99%，在 Other 上为 2.21%，私有对话集则达到 13.79%。噪声测试 FFASR 的平均 WER 为 14.80%，在 42 个模型中排第 4；Qwen3-ASR-1.7B 为 13.41%。

多语言结果也有差别：CommonVoice 上葡萄牙语为 2.60%，西班牙语为 3.50%，日语为 10.74%，是原文所述最弱语言。翻译方面，CoVoST 的其他语言到英语任务中，葡萄牙语 BLEU 为 53.6，德语为 40.1。英语到普通话没有评测。

这些指标来自不同任务，不能混成一个「综合能力分数」。原文也没有完整列出 6 种转写语言，不能自行补上中文。

术语表和部署方式，比参数量更有用

相较 Granite Speech 4.1 2B，新版允许在提示中指定输入语言，也能按要求输出标点和大小写；不同测试集的大小写 F1 为 90.16 到 99.51。原文还称噪声、混响和远场麦克风处理有所改善，但没有展开对应对照结果。

最有实际说服力的是关键词偏置：在 Earnings-22 上，提供正确词表后，关键词 F1 从 67.2 升到 90.1；即使 2,000 个词中混有错误词条，仍能达到 82.8。产品名、人名、缩写不必完全依赖模型已有知识，可以通过业务词表引导识别。

部署可选 Transformers、vLLM，Apple Silicon 可用 mlx-audio，本地 CPU 或 Mac 可走 llama.cpp GGUF。IBM 推荐 Q8_0，因为低位量化在超过约 1 分钟的音频上会损失准确率；单段音频建议控制在约 2 分钟以内。16k 位置并不等于适合直接塞入整场会议。

同时更新的两个模型走不同路线。470M 的 Granite Speech 5.0 Turbo CTC 支持 7 种语言，原生输出标点和大小写，通过复用单个 Conformer 块的编译图，将吞吐从约 12,600 RTFx 提升到 19,870 RTFx。它是吞吐指标，原文没给完整测试条件，不能当作个人电脑上的速度承诺。

面向说话人归属转写的 Granite Speech 4.1 2B Plus 则直接更新权重：平均时间戳偏移从 210.86 降至 98.54，长音频 WER 从 13.53 降至 10.22，关键词偏置 WER 从 11.79 降至 6.48。时间戳偏移的单位，原文没有说明。

我的判断

我更看好它的术语可控性和部署选择。前者有明确的同任务对照，后者给了团队尝试本地处理的路径。但关键词 F1 的提升，不能直接推导成整段转写错误率同幅下降。

如果优先追求准确率，原文数据仍支持先考察 Qwen3-ASR-1.7B：它在英文和噪声榜单上领先，还列出 30 多种语言及 22 种中文方言支持。不过名称中的 1.7B 也不能直接用于资源比较，原文记录其 Hub 参数量为 2.35B。

其他候选中，Cohere Transcribe 03-2026 的 Hub 参数量为 2.07B，支持 14 种语言，Apache 2.0 但需申请访问，英文和 FFASR WER 分别为 5.77%、15.03%；Canary-Qwen-2.5B 为 2.5B、CC-BY-4.0，仅支持英语转写，英文 WER 为 5.94%，训练音频最长 40 秒。未披露的能力不能按不支持处理。

这份材料是发布介绍及测试结果汇总，没有作者团队的部署实测，也没有统一硬件下的延迟、内存和成本对照。它足以形成候选名单，还不足以决定生产选型。

能拿来做什么

• 给现有转写流程准备产品名、人名和缩写词表，用同一批录音比较有无关键词偏置的结果，同时检查整段 WER 和关键词 F1。
• 前端上传或 Node 编排长录音时，按约 2 分钟分段建议设计处理流程，单独验证分段边界处的漏字和重复。
• 在 Mac 上先用 mlx-audio 或 llama.cpp GGUF 做小样验证，采用 Q8_0 建立基准，再评估低位量化的资源收益与准确率损失。
• 需要中文或说话人归属时，分别核对语言支持和 4.1 2B Plus 的输出能力，用真实业务录音验收。