先记住这个答案
评估集需包含多样化的输入分布，因为模型的泛化能力只有在未见过的多种分布上才能被真实检验。若评估集与训练集同分布，测得的准确率可能虚高，掩盖过拟合或领域偏移问题。例如，仅用标准新闻文本评估摘要模型，无法发现其对口语化或噪声文本的失效。多样化应围绕任务目标分布设计，平衡代表性与极端情况，否则评估结果会误导开发决策。
- 评估集偏差导致性能误判
- 需要覆盖目标部署分布
- 过度多样化同样有害
分布偏差如何扭曲真实能力
评估集的作用是估计模型在未知样本上的误差。如果评估集与训练集都来自同一个人工采样过程，模型可能仅记忆了狭窄模式，尚未学到可迁移规律，评估指标却会偏乐观。例如，一个文本分类器在标准论文摘要上训练和评估，遇到含表格或简写语料的准确率骤降，但评估集并未触发该失败。
机制上，评估集是超参数选择的依据，偏差会导致早停时机错判或正则强度设错。多样化的输入分布不仅包含不同长度与主题，还要引入句式复杂度、拼写噪声和罕见词等变异，使评估损失反映真实泛化瓶颈。但多样性必须受控，否则会增加方差，掩盖真正短板。
客服意图识别中的分层评估
假设开发一个电商客服自动分类器，训练数据以“退货”“退款”等高频意图为主，初期评估集从相同工单池随机采样，整体准确率达94%。上线后发现“账号被恶意操作”等低频但紧急意图频繁误判，用户投诉率上升。问题根源是随机采样让低频意图占比极小，评估指标被高频支配。
修正做法是按业务占比分层采样，并额外加入占1%-2%的长尾场景与对抗改写样本。新的评估集上准确率降至81%，暴露模型对同义词和指令连读的脆弱性。随后补充数据微调，再测提升了12个百分点，证明只有分布多样的评估集才能驱动正确改进。
异质性与相关性的平衡
若评估集盲目混入与任务无关的领域（如给医学模型混入法律文书），虽然多样性高，但样本难度和语义风格差异过大，评估结果难以解释，反而干扰判断。更糟的是，均匀采样所有比例可能扭曲真实优先级，使高频场景的权重降低，导致有偏误。
应对策略是明确定义目标部署分布，优先覆盖有代表性的子群，再补充分布外样本作为压力测试。代价是需要额外标注和领域分析，但能避免因分布误判产生的返工。关键是评估集必须和业务利益对齐，而非单纯追求丰富度。
容易答错的地方
- 评估集越多样越好
- 很多人认为加入异地数据能提升评估科学性，但样本与任务无关会增加评估方差，导致结果不显著。评估集应在相关性前提下追求覆盖度，而非无原则扩充。
- 评估集小但随机即可
- 随机采样保证无偏但忽略类别失衡，使得长尾性能被隐藏。需要分层或特殊采样，否则评估指标无法真实反映模型在关键小类上的表现。
面试官还会怎么问？
如何判断评估集是否覆盖了足够多分布？
可先确定业务中已知的高风险场景，计算当前评估集与部署样本在特征层面的远度。若存在明显空洞，则需补充数据或使用对抗生成样本，目标是使评估上界接近模型真实上限。
评估集多样性不足时，模型调参可能受到什么影响？
早停会基于偏低的验证损失继续迭代，导致过拟合；学习率调度也可能偏离。最终选择的是在窄分布上最优的模型，面向实际时鲁棒性差。
可否用多个固定评估集代替单一综合评估集？
可以，但需分别解读而不是简单平均。例如通用集和压力集分开，能识别哪些失败是分布外还是分布内。综合指标会混淆这两个维度，应保持拆分。
参考资料
示例用于理解所注明的运行环境与边界；延伸学习可结合原文中的更多案例。