分类模型准确率骤降诊断：指向数据输入问题

分类模型准确率骤降诊断：指向数据输入问题 | 前端进阶之旅

Full translation

完整中文译文

准确率在六个月里一直是 0.91。周二突然变成了 0.62，使用的是同一个模型二进制文件，没有部署，没有代码改动。这种特定形态——一个台阶而非斜坡，且模型纹丝未动——把矛头指向了输入端，最常见的单一原因就是采集链路中的裁剪（clipping）。

症状，以及它能排除什么

这个台阶就是诊断依据。真正的数据漂移是渐进的：世界在数周内慢慢变化，准确率会下滑而非断崖式下跌。某一天突然出现的不连续性意味着某个离散事件发生了变化，如果不是模型变了，那就是数据变了。常见原因清单是：录音设备的固件更新、现网新硬件版本、引入或转码路径变更，或者有人调了增益设置。

以下三个进一步的现象将问题缩小到裁剪：

大声的类别受灾最重。 裁剪只影响超出满幅的样本，所以安静类别完全不受影响，而大声类别则完全崩溃。如果按类别准确率表格显示下降集中在大声类别中，这几乎就是结论性的证据。

预测结果向一两个类别集中。 裁剪过的音频获得了类似噪声最大训练类别的宽带谐波能量，所以错误并非散落分布——它们堆叠在某个特定错误答案上。

音频听起来基本正常。 适度裁剪对用笔记本扬声器听的听众并不明显，尤其是原本就大声的素材。"我听了几个文件，还行"不能排除这个可能性，这就是为什么下面的检查要用数值方法。

一遍就找到问题的检查方法

裁剪就是波形上的平顶：连续样本被钉在最大可表示值上，因为真实信号已经超出了它。朴素测试——统计满幅的样本数——会产生假阳性，因为单个样本合法地达到最大值是可能的。可靠的测试要加上游程长度：连续样本在或接近满幅的平顶段在未裁剪音频中是不会出现的。

import numpy as np
import soundfile as sf

def clipping_report(path, near=0.999, min_run=3):
    """Fraction of samples at full scale, and the longest plateau."""
    x, sr = sf.read(path, dtype="float32", always_2d=True)
    x = x.mean(axis=1)                       # mono, average not sum

    limit = near * 1.0                       # soundfile scales to [-1, 1]
    at_rail = np.abs(x) >= limit
    frac = float(at_rail.mean())

    # longest run of consecutive at-rail samples
    longest, run = 0, 0
    for flag in at_rail:
        run = run + 1 if flag else 0
        longest = max(longest, run)

    # count of plateaus, which is the number of clipped events
    padded = np.concatenate(([False], at_rail, [False]))
    starts = np.flatnonzero(~padded[:-1] & padded[1:])
    ends = np.flatnonzero(padded[:-1] & ~padded[1:])
    events = int(np.sum((ends - starts) >= min_run))

    return {"rail_fraction": frac, "longest_run": longest,
            "clip_events": events, "sample_rate": sr}

读取输出的方式如下。rail_fraction 低于约 1e-5 且 longest_run 为 1 或 2 是正常值。longest_run 达到几十或几百就是明确的裁剪。rail_fraction 高于 0.001 意味着大约每千个样本中有一个被钉住，在 16 kHz 下就是每秒 16 个裁剪样本，这已经在破坏你的特征了。

然后找到变化点——把怀疑变成原因的那个台阶。对过去几个月每天的引入文件各取一批样本运行报告，绘制 rail_fraction 中位数对日期的图。如果在某一天跳变了，你现在就有了日期，那天的时间线日志就是答案。按设备 ID 分组同样绘制这些数字——推送到 30% 设备的固件更新表现为双峰分布而非台阶，仅看日期图会让它像渐进漂移。

在管线的正确阶段执行检查。在 float32 中，超出 ±1.0 的值仍然可表示，还没有发生裁剪；损伤发生在转换为 int16 时。如果你的管线在内存中持有 float 音频，还要检查 max(abs(x)) > 1.0，这是同一个问题提前了一步，但此时仍然可以修复。

为什么裁剪会摧毁频谱图模型

硬限幅是一种无记忆非线性。把正弦波输入，输出趋向方波，而方波包含基频的奇次谐波且幅度缓慢衰减。把复杂信号输入，你会得到每个分量每个谐波加上所有和频差频的互调产物——能量遍布整个频段，是从无到有生成的。

在对数梅尔频谱图上这表现为宽带提升，在高频梅尔频段最强——那里原本信号能量最少，而新增谐波能量最多。分类器依赖的每个特征都在移动：频谱质心上升，频谱平坦度上升，谐波噪声比下降，编码音色的梅尔频段比被改写。模型看到的不是训练分布的降级版本，而是完全不同的分布。

人们最难接受的后果是这是不可逆的。对裁剪文件做峰值归一化把它重新缩放使其最大值为 1.0，波形看起来行为良好，但完全没有作用，因为平顶还是平顶——那些超出满幅的样本从未被记录，没有任何缩放能把它们找回来。去裁剪算法存在，通过插值或稀疏恢复重建合理的值，但那是推理而非恢复，在短平顶上有效，在长平顶上则是凭空捏造。

裁剪从何而来

设备上的增益或灵敏度变更。 换了灵敏度更高的新麦克风，或者有人为了解决"太小声"的反馈提高了前置放大器增益。这是单一最常见原因。

自动增益控制。 AGC 提升安静输入，而当响亮事件在控制回路反应之前到达时，建立阶段就会裁剪。这产生的裁剪集中在事件起始处——恰恰是检测器最在意的信号部分。

通过加法将立体声求和为单声道。 两个相关声道各自峰值 0.9，相加变成 1.8。要用平均而非加法。这个问题在某天有人改了下混时出现，同时影响所有文件。

float 转 int16 时没有预留余量。 任何可能产生超出 ±1.0 值的处理——增益级、有共振的滤波器、重采样时插值过冲——都会在转换时饱和或更糟糕地环绕。环绕比饱和声音更大、破坏性更强，表现为符号相反的满幅样本。

有损解码过冲。 母带制作到 0 dBFS 的文件从 MP3 或 AAC 解码时可能产生略高于满幅的值，因为编解码器不保证重建会保持在范围内。直通解码进 int16 的管线会将一小部分本来正常的文件裁剪掉。

量化，再改任何东西

对分层样本运行上面的报告——每天引入数百个文件、每个设备型号——并记录 rail_fraction、longest_run 和 clip_events。你需要基线来证明修复有效。

定位变化。 绘制中位数对引入日期和设备标识符的图。日期上的台阶指向管线或固件变更；按设备分裂则指向硬件。对照那天的部署日志交叉验证。

修复采集端，而非数据端。 降低输入增益直到正常操作时峰值在 −12 dBFS 左右，为重要的响亮事件留出余量。如果 AGC 是罪魁祸首且无法禁用，在转换器前加一个快速建立时间的限幅器比硬裁剪损害更小，因为它做的是压缩而非截断。

在引入端加防护。 拒绝或标记任何 rail_fraction 超过你根据干净基线设定阈值的文件，并把它作为指标配合告警发出。这是阻止同类事件再次发生的改动，就是几行代码的事。

隔离受影响的数据。 不要在其上重新训练。训练集中有裁剪音频会教模型把伪影当作特征，这看起来修复了裁剪输入的准确率但会让干净输入的准确率下降。排除受影响的时间窗口，在新采集的干净音频上验证模型恢复，然后才决定是否需要重新训练。

如果裁剪在生产中不可避免，就显式地建模它。有些来源确实是裁剪后到达的，无法重新录制。这种情况下用观测到的比例在训练中增强有意裁剪的副本，让模型同时看到两种情况——同时预期更低的准确率天花板，因为从未被捕获的信息无法通过训练找回来。

同样的检查属于任何依赖频谱形状特征的声学管线的前端。频段比方法尤其容易受影响，因为裁剪恰好在它们读取的高频频段增加了能量——用于机械故障包络分析会把完全是麦克风输入阶段伪影的故障报告出来。