模型没改却变差了,怎样排查漂移
线上模型即使没有更新,也可能因输入分布变化或输入与结果之间的关系变化而出现性能下滑。文章区分数据漂移和概念漂移,并介绍如何检测和缓解。
AI 深度解读
模型版本没动,线上准确率却可能从 0.91 掉到 0.86。作者用一个客户流失预测案例说明,输入数据和业务规则都会变,训练时验收通过的模型,仍可能在上线后逐渐偏离目标。要尽早发现问题,可以同时盯住模型表现和输入分布,再给告警配一套排查、验证和部署流程。
这套方法可以从几个统计量和一条 Slack 告警起步。真正需要想清楚的是,线上标签什么时候能拿到,以及一次指标波动是否足以支持重训。
为什么要同时看输入分布和模型表现
作者把模型没变、表现却开始下滑的现象称为 AI 能力漂移(AI skill drift)。原文区分了两种变化。数据漂移是输入特征或目标标签的分布变了,比如推荐系统开始接触更多新品类。概念漂移是输入与结果之间的关系变了,比如过去能识别欺诈的行为特征,在欺诈手法变化后失去了判断价值。
两类信号对应不同的问题。特征统计量告诉你模型现在接触的样本和过去有多大差别,准确率、精确率、召回率和 AUROC 则告诉你模型还能不能完成原来的任务。特征均值变化可以提示排查方向。反过来,即使几个均值都很稳定,模型在特定人群上的错误率也可能已经升高。流失预测错判高价值客户会影响营收,受监管业务可能跌破性能要求,聊天机器人频繁答错新问题则会消耗用户信任。
如何把两类信号接进日常监控
先用 CSV 或 YAML 登记数据源、类型、接入频率和最近刷新时间。原文示例里,点击流 user_events 每小时接入,关系型商品目录 product_catalog 每天接入,两者的 last_refresh 都是 2024-11-01。然后用最近一次通过验证的训练结果建立 JSON 基线。原文给出的通用分类示例是准确率 0.92、精确率 0.88、召回率 0.81、AUROC 0.94。这组数字和后面的流失案例各有自己的基线。
下面这段代码用 sklearn.metrics 计算分类指标,再通过 boto3 写入 CloudWatch。
import boto3
from sklearn.metrics import accuracy_score, precision_score, recall_score, roc_auc_score
cloudwatch = boto3.client('cloudwatch')
def push_metric(name, value, namespace='MyModel/Drift'):
cloudwatch.put_metric_data(
Namespace=namespace,
MetricData=[{'MetricName': name, 'Value': value}]
)
def log_metrics(y_true, y_pred, y_score):
push_metric('Accuracy', accuracy_score(y_true, y_pred))
push_metric('Precision', precision_score(y_true, y_pred))
push_metric('Recall', recall_score(y_true, y_pred))
push_metric('AUROC', roc_auc_score(y_true, y_score))
看最后一行,AUROC 用的是预测分数 y_score,四项指标都需要真实标签 y_true。如果用户是否流失要过一段时间才能确认,就得保留预测记录,等标签成熟后按原批次回填指标。
下一段代码只依赖输入统计量,可以在标签到齐之前计算数值特征的均值偏移。
import json
import numpy as np
with open('baseline_stats.json') as f:
baseline = json.load(f)
def drift_score(current_stats, baseline_stats):
scores = {}
for feat, cur in current_stats.items():
base = baseline_stats.get(feat, {})
if not base:
continue
pct_change = abs(cur['mean'] - base['mean']) / (abs(base['mean']) + 1e-8)
scores[feat] = pct_change
return scores
留意 pct_change 那一行。分母里的 1e-8 避免除以零,基线均值接近零时,相对变化仍可能被放大。返回值是比例,0.10 对应 10%。原文还建议按批次记录方差或标准差,并把这些结果与性能指标一起送入 Prometheus、InfluxDB 或 CloudWatch。看板可用 Grafana、Kibana 或 Jupyter notebook 展示当前值和基线,再用 CloudWatch 告警接 Slack webhook。原文举例把性能容差设为 ±5%,特征均值容差设为 ±10%。
一次双重告警如何走到重新部署
作者描述的客户流失模型在 2024 年 6 月完成基线验证,当时准确率 0.91、精确率 0.87、召回率 0.79,客户在网时长 tenure 的均值为 12.4,月消费 monthly_spend 的均值为 68.5。模型每晚对次日约 10,000 行数据做推理。一次监控中,准确率降到 0.86,比基线低 5 个百分点,相对下降约 5.5%。 同时,tenure 均值升到 13.9,增幅约 12%,两项都触发了 Slack 告警。
他们抽查近期样本,把排查方向指向 7 月推出的新订阅计划。加入新计划的数据并微调 1 epoch 后,新验证准确率达到 0.90,回到容差范围,团队随后替换了生产端点。按作者的说法,从告警到重新部署用时不到 4 小时。
原文还给了日期为 2024-11-15 的审计报告模板,将新订阅计划列为可能原因,建议用含新计划的最近 3 个月数据重训,并在新模型上线后更新基线。模板安排的下次审计日期是 2025-01-15。其中 3 个月是报告里的建议,案例没有交代实际训练集覆盖了多久。
我的判断
我认同先把基线、看板和排查流程接起来。只盯准确率,容易卡在标签延迟上。只盯分布,碰上正常的业务变化也会响。两条信号一起看,值班的人至少知道该按哪些字段抽样,再判断问题出在数据接入、业务变化还是模型效果。
原文的 5% 和 10% 是经验阈值。作者没给出误报率、对照组或不同阈值下的检测结果,也没交代案例里的流失标签何时可用、验证集如何切分。0.90 说明新模型在那次验证中回到了容差范围。新计划是否解释了全部降幅、换到生产后效果能维持多久,原文没有提供数据。4 小时的响应速度也依赖团队能及时拿到新样本、完成验证并发布。
如果均值告警频繁误报,或在效果下滑时始终没有动静,可以按原文的建议再考虑 Kolmogorov-Smirnov 检验或群体稳定性指数(PSI),观察分布变化。它们能看到均值遗漏的变化,概念漂移仍要结合标签和分组评估确认。领域适应和在线学习涉及持续更新模型,原文只给了可探索的方向。
能拿来做什么
- 如果你用 Node 跑批量推理,给预测记录加上批次 ID 和模型版本。推理结束就上报输入统计量,真实标签到齐后,再给同一批次补记准确率和召回率。
- 如果你负责内部监控页面,把当前值、基线、样本量和标签更新时间放在同一张图里,明确标出相对变化和百分点差值。收到告警时,可以先确认比较口径,再按异常字段抽样。
- 给告警配一份简短的操作手册。先核对数据刷新和近期业务变更,再按受影响人群验证模型表现,达到验收条件后部署,并记录新基线。