先记住这个答案
当训练数据不足时，清洗数据可提升信噪比，使模型从有限样本中学到更稳定的规律，降低过拟合。具体策略包括精确去重、模糊去重、标签清洗和异常值检测。但清洗无法创造新信息，若有效样本过少，应转向数据增强或采样调整，而非盲目清洗。
- 去重减少重复样本的过拟合偏差
- 过滤噪声可提升梯度信号稳定性
- 清洗不能超越数据量的信息上限
去重与噪声的梯度影响机制
有限数据下，重复样本会放大特定模式在损失函数中的权重。例如同一句话出现10次，模型会将其当作10倍重要，导致对不常见表达的拟合减弱。去重让每个样本对梯度的贡献回归真实频次，减少针对重复样本的过拟合。
噪声标签会引入错误的梯度方向，使决策边界被随机扰动。小样本时这种扰动无法被其他样本抵消，容易收敛到局部极值。过滤噪声等价于提高梯度信噪比，让参数更新沿真实任务方向推进，从而在相同数据量下获得更稳定的泛化表现。
千条客服语料微调中的清洗决策
假设需微调一个意图分类模型，仅收集到1200条真实对话，其中用户重复提问占300条，另有约80条标签标注错误（如把退货意图标为投诉）。直接训练时模型在训练集准确率98%但验证集仅82%，明显过拟合。
处理分三步：先用句子嵌入聚类，保留每簇代表样本，删除280条近重复；再人工复核聚类边界处的低置信样本，修正45条标签；最后用异常检测剔除20条无意义短消息。清洗后有效样本约900条。
清洗收益衰减的条件
当原始数据本身噪声率低于5%且重复率不高，清洗带来的提升常低于2%，此时消耗的标注复核成本可能大于收益。例如1000条较干净数据，去重只找到20条重复，过滤噪声后性能几乎不变。
另一失效场景是数据量极小（比如低于200条），清洗后可能只剩150条，模型欠拟合占主导。此时应改用更强的预训练模型或引入领域适配层，而非继续清洗。判断方法是比较清洗前后的验证损失：若清洗后验证损失不降反升，说明清洗过度或数据量不足，需停止。
容易答错的地方
- 盲目认为清洗总是有益
- 去除看似无关的样本可能删除困难难例，削弱模型对边界情况的判别力。只有确认噪声或重复确实干扰学习时才应清洗，且需控制删除规模，保留有代表性的噪声样本反而能提升鲁棒性。
- 将去重等同于只保留唯一文本
- 语义上相同或高度相似的改写表达也属于冗余。仅基于字符串哈希去重会漏掉改写后的重复，需结合嵌入相似度阈值（如余弦>0.95）处理。但阈值过低会误删有效样本，需要人工校验。
面试官还会怎么问？
清洗后如何评估数据质量是否足够？
可观察训练集损失下降曲线是否平滑且收敛到较低值，同时验证集损失与训练集损失差距在1-2个点内。若差距过大，仍需增加数据或正则化，而不是继续清洗。
对于标签噪声，是否可以用模型预测来辅助过滤？
可以先训练一个初始模型，用预测置信度筛选低置信样本。但小样本下模型本身不可靠，需将预测概率与人工复核结合，避免把正确样本误删。先用简单规则过滤明显噪声，再用模型辅助。
去重算法如何选择计算效率与效果平衡？
对万级内样本，用SimHash或minHash可快速近似去重，再用精确距离确认边界候选。对千级样本，直接计算两两相似度也可接受。关键是设定合理相似度阈值，并保留一定多样性。
参考资料
示例用于理解所注明的运行环境与边界；延伸学习可结合原文中的更多案例。