指标可复现,模型评估就可靠吗?
作者以鸟类分布预测项目为例,从已提交的数据和代码重建空间交叉验证及逻辑回归基线。审计重点是评估结果究竟代表什么,说明重复得到相同指标并不能证明评估有效。
AI 深度解读
代码重跑两次,指标完全一致,能证明模型靠谱吗?QueleaGuard 的一次审计给出了清楚的边界:它能证明实验可以复现,却不能证明评估选对了样本,更不能证明模型到了新地点依然有效。
作者没有急着换更复杂的模型,而是拆开已有结果,追查哪些地点撑起了高分、哪些地点贡献了漏判。这对做机器学习和日常 AI 评测的程序员都有用:一个漂亮的平均分,可能掩盖了测试样本过度集中的问题。
先确认复现的是同一个实验
QueleaGuard 研究肯尼亚 Kisumu County 的 Ahero 水稻灌溉区周边,哪些环境和空间因素与红嘴奎利亚雀的出现有关。基线采用逻辑回归,区分已记录的出现样本与近似的目标类群背景样本。
这里要先分清:背景记录不等于经过确认的「没有鸟」。它承担对照作用,但不能直接当成可靠的真实缺席标签。
建模数据共 266 条,出现记录和背景记录各 133 条,采用 5 折空间交叉验证。模型使用 10 个数值预测变量和 3 个季节指示变量,涉及降雨、温度、露点、风、植被指数、海拔、坡度、距水体距离及水稻相关景观因素。
每轮留出一折,用另外四折训练;数值特征只使用训练数据计算标准化参数。原始结果的五折平均 F1-score 为 0.593,ROC-AUC 为 0.854。
作者首先追问的不是怎么提分,而是能否用仓库里提交的数据和实现,原样重建这个结果。
为此,作者在 src/cv_audit_m0.py 中建立 M0 复现审计。训练前先核对三份受检查的数据输入的确切版本、交叉验证协议、预期的 29 列建模数据、266 条记录及其唯一标识、133/133 类别分布,以及各折分配和类别数量。出现记录、背景记录与对应来源数据之间的关系也要核对。
关键输入不同,审计就停止。否则,即使分数碰巧相近,也可能已经换了一个实验。
随后,M0 按原来的特征构造、标准化、模型配置、五折划分和分类阈值重建模型,并在同一次执行中独立运行两遍。
结果通过全部 51 项断言。重建结果与历史结果相比,Precision 和 F1-score 的最大绝对差为 0,Recall 和 ROC-AUC 约为 1.11 × 10⁻¹⁶;两次执行的预测概率最大差异也为 0,没有收敛警告。
这些结果证明了输出可以重建,没有证明模型已经有效。
原文没有给出具体分类阈值、Python 版本或库版本,不能自行补上。
一个地点,怎样左右整折成绩
接下来的 R 阶段没有训练新模型,而是固定已经得到的折外预测,也就是每条记录由未使用它训练的模型给出的预测,再检查评估样本的组成。
Fold 3 有 58 条记录,其中 36 条为出现记录。完整评估看起来很好:
| 指标 | Fold 3 完整结果 | 排除焦点网格后的子集 |
|---|---|---|
| Precision | 0.882 | 0.429 |
| Recall | 0.833 | 0.333 |
| F1-score | 0.857 | 0.375 |
| ROC-AUC | 0.886 | 0.667 |
问题在于,cell_0156 一个网格就贡献了 36 条出现记录中的 27 条,也贡献了全折 30 个真阳性中的 27 个。排除它后,剩余子集只有 9 条出现记录和 22 条背景记录,成绩明显下降。
这说明高分高度依赖一个地点上的表现。剩余样本很少,不能据此认定模型在其他地方普遍无效,但完整分数显然没有把这种差异表达出来。
Fold 4 则暴露了另一种集中。它有 113 条记录,其中 69 条为出现记录;cell_0080 贡献了其中 60 条,还贡献了全折 44 个假阴性中的 39 个。
| 指标 | Fold 4 完整结果 | 排除焦点网格后的子集 |
|---|---|---|
| Precision | 0.833 | 0.500 |
| Recall | 0.362 | 0.444 |
| F1-score | 0.505 | 0.471 |
| ROC-AUC | 0.839 | 0.918 |
排除该网格后还剩 51 条记录,包括 9 条出现记录和 42 条背景记录。ROC-AUC 升到了 0.918,F1-score 却略降。
两者并不矛盾。ROC-AUC 衡量模型把正样本排在负样本前面的能力,F1-score 则取决于指定阈值下实际分出了多少正例。排序不错,不代表某个阈值下的分类表现也好。
而且,这个剩余子集只有另外两个包含出现记录的网格。0.918 依然需要谨慎解释。
删除评估样本,回答不了重新训练的问题
R 阶段最容易被误读的地方,是「移除地点」的含义。
作者只是从计分集合里排除部分地点,模型及其预测保持不变。因此,这个实验回答的是:哪些样本影响了当前成绩?它不能回答:训练时去掉这些地点,模型会学得更好吗?
改变评估集合与改变训练集合,需要分别做实验。
空间数据尤其容易混淆记录数和独立信息量。来自两个坐标的 60 次观测,与分布在 60 个独立地点的 60 次观测,地理覆盖完全不同。作者因此要求同时查看记录数、独立坐标数、日期数和独立空间站点数。
后续 M1 才开始通过受控的重新拟合检查训练组成的影响,包括精确重复、按网格平衡权重的变体及参考消融。原文没有提供 M1 的结果,不能提前断言哪一种方案更好。
审计记录也被纳入实现。src/cv_audit_common.py 保存 Git commit、输入输出文件哈希、Python 与库版本、模型参数、分析设置、逐项断言结果及执行时间,并检查受保护输入和已有审计产物的变化。输出写入带时间戳的独立目录,避免覆盖旧结果。
决策日志还记录每项分析证明了什么、没有证明什么、哪些问题尚未解决。这样,后来者才能判断两份结果为何不同,而不是靠参与者回忆。
我的判断
我认同作者把问题拆成三层:实验能否复现,评估是否代表目标问题,以及模型能否可靠地推广到新地点和新条件。工程里经常把第一层通过,当成后两层也过关,这篇文章用具体数据展示了其中的缺口。
比起继续堆模型,先检查分数由谁贡献,在这个项目里有充分理由。Fold 3 和 Fold 4 都存在明显的空间集中,仅报平均分会遗漏关键信息。不过,原文没有比较「先审计」与「直接换模型」的投入产出,也没有证明复杂模型一定解决不了问题,不能把这次经验推广成所有团队的固定顺序。
同样,排除网格后的成绩是敏感性分析,不是新的最终成绩。它揭示了分数依赖哪些观测,却没有让剩余样本自动变得更有代表性。小样本、背景标签的含义、空间验证设计是否充分,仍需要额外证据。
普通团队未必需要一次建立 51 项断言,但应保留最关键的输入身份、划分规则、配置和预测结果。只保存最终分数,排查问题时几乎无从下手。
项目的应用边界也要守住:当前研究的是鸟类出现情况,尚未建立经过验证的预警系统,更不能把出现概率直接解释成虫害或作物损失预测。
能拿来做什么
- 在现有评测脚本旁增加复现检查,先固定数据版本、样本标识、划分规则、模型配置和阈值,再比较历史结果与重复执行结果。关键输入变化时明确失败,避免悄悄评测另一个实验。
- 做 AI 编程评测时,除了总体通过率,还可以按仓库或任务来源拆分结果,检查高分是否主要来自少数重复或高度相似的任务。这是对评估组成审计思路的迁移,不能直接套用原文的空间统计结论。
- 排查分数异常时,分别设计「固定预测后重算子集指标」和「改变训练组成后重新训练」两类实验,并在报告里写清各自能回答什么。
- 为每次评测保存独立目录,关联 Git commit、文件哈希、环境版本、配置及逐样本预测,同时记录未解决的问题,让下一次比较有据可查。