Hugging Face深入解析语音识别基准优化问题

Hugging Face深入解析语音识别基准优化问题 | 前端进阶之旅

Full translation

完整中文译文

其中一个原因是，传统基准测试忽略了许多使语音系统在实际使用中可靠、自然、符合上下文且有效的条件和质量。正因如此，我们近期在 Real World VoiceEQ、Open-ASR Leaderboard 和 Far-field ASR Leaderboard 中引入了独立留出测试集：以衡量真实世界中更重要的指标。

然而，更广泛的衡量本身并不能解决问题。这种现象有时被称为基准测试优化（benchmark optimization）或"benchmaxxing"，在机器学习领域时有讨论，但在语音识别中一直难以量化。

我们最新研究提出了三项测试来帮助量化这一问题。我们评估了 11 个广泛使用的开源 ASR 模型，发现一些得分最高的系统复现了 VoxPopuli English 和 LibriSpeech（clean、other 数据集）的基准测试转录文本——即便音频内容与之矛盾、相关词汇被静音处理，或音频同样支持两种不同的书写形式。

在某些情况下，模型似乎不仅依赖语音内容，还依赖指示当前处于哪个基准测试中的细微声学线索。因此，它们的分数高估了它们在更广泛场景下转录语音的能力。

Reference disagreement (VoxPopuli case study)

VoxPopuli 以含有大量转录错误而闻名（这也是 Artificial Analysis 发布清理版本的原因）。我们的共识分歧探测（consensus disagreement probe）测试了当前主流 ASR 模型遇到这些错误时的表现：它们是准确转录音频所说的内容，还是复现基准测试中不正确的参考转录？

为了大规模进行测试，我们使用了一组独立模型的集成，这些模型因其低音素错误率（PER）而被选中。PER 衡量的是书面转录与音频中声音的匹配程度，因此它是衡量模型忠实转录所听到内容的有效代理指标。集成结果可用于标记模型一致反对基准测试参考转录的案例。然后我们将这些标记案例的样本与人工标注进行对比，以验证修正后的转录。

例如，一个 VoxPopuli 音频片段明显包含短语"Thank you, Mr. President"，但参考转录中省略了"Thank you"。在我们测试的 11 个模型中，有 6 个复现了基准测试的这个错误转录——给出了"预期"答案，即便这与音频相矛盾。在真实片段上，格式遵循相同的模式：省略"Thank you"的模型也复现了基准测试的标点风格，将"Mr"写成不带句号的形式，而包含可听短语的模型倾向于写成带句号的"Mr."。

当我们将相同内容以新采集的欧盟议会录音或通用语音重新呈现时，这种行为往往会减弱或消失。在以下样本中，除一个模型外，所有模型都转向了对新的议会录音克隆的音频忠实转录。这表明模型正在响应帮助识别基准测试成员身份的声学线索，从而产生预期转录——即使这与音频相矛盾。

该片段的参考转录为"Mr President, I have another complaint about this procedure, which is that it is not secret." 下面三个音频片段的实际内容相同，前面都有可听见的"Thank you"——克隆版本是对真实句子的文本转语音再现，因此三个版本中都能听到这个客套语。绿色高亮和 ✅ 标记包含可听"Thank you"的转录；红色高亮和 ❌ 标记复现基准测试错误省略的转录。所有转录均为模型原始输出，经过任何规范化处理前的状态——大小写和标点完全按照生成时的原样保留，包括某些模型的小写输出。

Original VoxPopuli recording

Voice clone of the same speaker

Clone of a parliament speaker recorded after every model's training cutoff

Parakeet 是唯一在真实片段上复现基准测试而在同一说话人克隆上正确转录的模型。Phi-4 是唯一在 ep-fresh 克隆上仍然丢失客套语的模型。当我们改用与任何议会录音无关的通用 TTS 声音重新合成句子时，所有 11 个模型都恢复了客套语。

结果表明这个问题既普遍又有意义。我们的方法在我们分析的 VoxPopuli 测试片段中标记了 40% 的潜在参考错误，影响了约 3% 的所有参考词。

表现出基准优化行为的模型在 18–30% 的情况下复现了错误的参考转录。下面的散点图比较了 x 轴上的 VoxPopuli 词错误率（WER）与每个模型复现基准测试错误参考而非共识修正的比率。WER 最低——因此报告的基准测试性能最强——的模型也最可能复现这些错误。

Masked Entity Retrieval

为了在共识分歧探测的基础上进一步研究，我们有意在测试数据集的音频样本中将数字静音，然后让模型转录所听到的内容。数字在音频中 literally 不存在，所以模型不应该输出任何数字，更不用说文本中的确切数字了。

其中一些数字是可预测的（尽管模型仍不太可能预测），但也有一些相当令人惊讶。以下片段结合了两种探测，展示了模型如何重建包含错误数字的参考转录错误，其中一个模型甚至自动补全了一个相对随机的年份（2011），尽管它已被静音。在下面每个模型的行中：

绿色高亮带删除线标记模型正确未复现的参考转录词汇（音频忠实）；

绿色高亮带下划线标记正确的、音频忠实的插入，替代参考转录中的错误措辞；

红色高亮（纯文本）复现了参考转录中错误且音频不支持的内容：保留"Mr President"、在音频说"one thousand six hundred"的地方写成"more than 1 amendments"、提供静音年份"2011"，或结尾使用"plenary"。

2011 draft budget (masked numbers)

在公共基准测试上的恢复率最高，在留出或新采集的音频（下面的 ep-fresh 和 libri-fresh）上较低。在 LibriSpeech 上，一些基准测试表现最强的模型在约 30–40% 的例子中复现了静音数字，尽管数字本身已被移除。对于多个模型来说，在新采集的数据上效果减弱，表明周围与基准测试相关的音频——不仅仅是文本自动补全——帮助模型恢复了参考。

Orthographic Switching

我们的正字法切换探测测试模型是否复现基准测试参考转录中使用的确切拼写，尽管音频中这一点并不明确。正字法变体是语义和语音相同但拼写方式不同的词（1 vs one、Mr. vs mister、John vs Jon、Honor vs Honour 等）。理论上，模型应该一致地偏好某种拼写，或以大致随机的比率在两者之间交替。如果模型系统性地切换以匹配每个基准测试参考转录中的内容，这表明模型正在识别测试期望的拼写方式。

转录："I URGED ON THE BOYS THAT WHATEVER HAPPENED WE SHOULD NOT SHOOT ANY ONE" — 使用"any one"的模型：6/11，使用"anyone"的模型：5/11

转录："CAMOUFLAGE WAS NOT A WORD THE CAPTAIN OR ANYONE ELSE OF HIS TIME YET UNDERSTOOD" — 使用"any one"的模型：2/11，使用"anyone"的模型：9/11

在 LibriSpeech 内部，我们测试一个涉及旧间距约定的数据集内切换：某些参考转录使用"any one"，而其他使用"anyone"。我们测量给定变体的最小准确率，称之为"切换率"。如果模型只使用一种变体，其切换率为 0%；随机选择的模型预期切换率为 50%。如果模型在每个测试样本中都知道使用哪种变体，其切换率将达到 100%。

我们的第二个探测测试数据集间切换，其中每个基准测试在其测试语料库中一致地使用不同的拼写约定。例如，VoxPopuli 使用缩写"Mr."，而 LibriSpeech 拼写为"Mister"。

多个模型超过了 50% 随机选择基线，其中一些达到约 90% 的切换准确率。这表明模型能够识别音频样本来自哪个数据集，并选择该基准测试期望的拼写约定——尽管两种形式听起来完全相同。

Localizing the switches

为了测试这些行为是否在公共基准测试之外泛化，我们还从相同来源领域但在模型训练截止日期之后采集了新数据：VoxPopuli 的最新欧洲议会录音和 LibriSpeech 的新活跃 LibriVox 叙述者的录音。然而，当呈现同领域的近期采集数据时，许多模型停止匹配参考转录，转而采用更忠实于音频的转录。

其他干预措施指向相同结论。在音频中存在但在参考转录中被省略的短语，当模型被要求翻译音频或其注意力被限制在相关帧时，可能会重新出现。修剪周围基准测试上下文，或附加普通对话音频，也可以恢复忠实转录。附加 VoxPopuli 音频则可能产生相反效果，使原本忠实于音频的合成或挖掘样本更可能匹配基准测试参考。

综合来看，这些结果表明模型能够忠实转录字面口头单词，但正在利用周围声学上下文来决定是遵循音频还是遵循特定基准测试的转录策略。

Implications

我们的发现表明，在两个主要开源数据集上，某些模型检测与数据集相关的声学线索并相应调整其转录行为。具体而言，模型可能复现音频中不存在但出现在参考转录中的词汇、以 elevated 比率恢复静音数字，或利用周围声学上下文来选择特定基准测试期望的书面变体。

对于选择模型的从业者而言，这些发现强调了使用完全留出评估集的重要性——正如 RW-Voice-EQ Bench 和 Open ASR Leaderboard 所做的那样——以及不要仅看单一公共基准测试上的词错误率。为此，"Benchmark fitting"标签已添加到 Open ASR Leaderboard，其中包含上述两项分析，涵盖所有模型：量化（1）VoxPopuli 的参考错误率和（2）所有公共数据集上的正字法切换。相关脚本已在 GitHub 开源，以及未规范化的模型输出。

我们的发现还表明，基准测试开发者应避免简单的独立同分布测试划分，转而采用时间、说话人或基于其他元数据的分离。对训练数据和模型选择程序保持更高透明度也将帮助研究人员理解这些行为是如何产生的。

公共基准测试仍然有价值：它们透明、可重复、易于运行，并且为研究社区所熟知。但当我们能够区分真正的转录改进与不泛化到新音频的基准测试特定收益时，它们才最有价值。

欲了解更多详细信息，我们鼓励您阅读我们的完整报告。

Models mentioned in this article 10

Datasets mentioned in this article 3

Spaces mentioned in this article 3

Papers mentioned in this article 1