先记住这个答案
排序好说明坏样本的相对位置准确，但概率值可能偏移。风控的成本计算依赖概率绝对值，若预测概率普遍偏低等，预期损失被低估。Brier分数综合衡量概率误差，校准曲线显示局部偏差。部署前应两者兼看，并确认关键决策区域校准足够好，避免策略失效。
- 区分度只回答相对排序，不回答概率是否可信
- Brier分数综合反映概率误差，校准曲线揭示局部偏移
- 风控决策依赖绝对概率，校准错误直接造成经济损失
为什么排序好不等于概率可信？
排序指标（如AUC、KS）只衡量正负样本的相对位置，不保证预测概率数值落在正确刻度上。风控策略把概率当作成本系数，授信额度、利息和损失准备都直接乘上该概率。若模型把所有预测概率压缩到相似范围，虽然区分度不低，但实际违约率可能偏低或偏高，据此计算的价格会偏离真实风险，造成系统性损失。因此仅看区分度不够。
Brier分数是对所有样本的(预测概率-实际标签)^2求平均，可分解为可靠性（校准）与分辨力。可靠性反映预测概率是否匹配实际频率，校准曲线则按预测概率分桶，绘制桶内平均预测概率与真实频率的关系，能清晰发现高估或低估发生在哪个概率区间。当可靠性项明显大于0时，即使排序指标很好，也需要重新标定概率。
违约预测校准误差如何影响贷款定价？
新模型在离线验证集上区分度优秀但概率校准差：例如预测违约率8%，实际违约率12%，校准曲线整体下移。按预测概率8%给客户定价会让预期损失低估约三分之一。另一个模型区分度略低但校准贴合，实际利润反而更高。必须用Brier和校准曲线发现这类偏差。
这种偏差会进一步破坏风险限额：高估的违约概率让一部分客户被迫提高抵押或进入人工复核，增加运营成本；低估则放大了坏账。操作上可对比Brier分数并绘制校准曲线，找到偏差区间。若偏差集中在0.3~0.7，可先用重标定技术修正，再检验是否同时改善Brier和排序稳定性；若修正无效，则需提高准入分数阈值或调高风险准备金，用保守策略覆盖未知偏差。
什么时候校准检查会失效或不够用？
校准本身依赖于统计样本量。在极端不平衡数据中，违约率低于0.1%的尾部几乎没有足够样本画出可靠的校准曲线，此时Brier分数主要由大部分非违约样本主导，难以反映高风险尾部误差。同样，如果线上分布从训练集的1%漂移到2%，离线校准曲线在低概率区间可能失效。需要按业务风险档分组，并采用时间加权或动态样本评估校准。
另一个被忽视的点是Brier分数对分类阈值不敏感，而风控决策往往关注特定阈值区域。一个模型的全局Brier可能不错，却集中在一个决策点附近有系统性偏移。因此要结合误分类成本来评估：对每个触发策略的样本，计算预测概率与实际违约率的差值，并乘上该区间损失权重。当偏移超过可容忍幅度，就应触发人工复核或策略熔断。
容易答错的地方
- AUC高就代表概率准确
- AUC仅关注样本对之间的排序，概率整体平移或压缩并不改变AUC，却能大幅改变期望损失。例如所有预测值乘以0.5，AUC不变，但定价可能失真。必须用Brier或校准曲线验证概率绝对值。
- 校准曲线完全重合就安全
- 全局校准平均得分正确不等于每个风险档位正确。当模型对不同细分群体系统性偏移，比如年轻人高估、老年人低估，平均曲线看不出异常，却会导致某类业务严重亏损。应分组检查校准曲线，并关注Brier分数分解中可靠性项。
面试官还会怎么问？
Brier分数的可靠性项和分辨力项分别反映什么？
可靠性衡量预测概率与真实频率的偏差平方（校准），分辨力衡量预测分组之间的差异，通常越高越好。若可靠性项大说明需要重新标定，若分辨力低说明模型能力不足。
如果开发集和线上分布不同，校准曲线还能用吗？
不能直接套用。要先分析特征漂移，用线上数据或代表性样本重新估计校准，或者退回到排序加人工规则，因为离线校准已失真。
概率校准和阈值选择是什么关系？
校准解决概率真实度，阈值选择基于成本和收益优化，两者相互影响：校准后阈值更有意义，可在精度和召回间按业务代价移动。通常先校准再找阈值。
参考资料
示例用于理解所注明的运行环境与边界；延伸学习可结合原文中的更多案例。