99%准确率为何毫无价值：稀有事件ML评估的正确姿势

99%准确率为何毫无价值：稀有事件ML评估的正确姿势 | 前端进阶之旅

Full translation

完整中文译文

这是一个预测落石准确率高达 99% 的模型。但它同样毫无价值。如果一个危险边坡平均每百天出一次事故，那么一个每天都输出"无落石"的模型，准确率恰好是 99%——却会让人们送命。这个悖论是你在为罕见、灾难性事件构建 ML 系统时遇到的第一个坎，也塑造了我做落石预测系统的思路。

准确率衡量的是整体正确率。这听起来没问题——直到你关心的事情几乎不发生。当 99% 的日子都是安全的，"总是预测安全"就能拿到 99% 的分数，同时对所有真正重要的事件检测数为零。这个指标在奖励模型去无视它存在的全部理由。

所以对稀有事件预测而言，准确率不仅仅是无用——它是彻头彻尾的误导。它用漂亮的数字掩盖了灾难性的盲区。真正的问题从来不是"它多久对一次"，而是"在真实事件中，它抓住了多少？为此付出了多少误报？"

在这里，不是所有错误都平等的——假装它们平等是核心错误。有两种方式会出错，它们的代价截然不同：

假阴性——漏报一次真实的落石——是你无法接受的失败。有人在等"平安无事"的结果。这个错误你要拼命压到零，哪怕付出代价。

假阳性——无事发生时发了警报——是让人烦感并侵蚀信任，但没有人会受伤。你希望假阳性尽量少，但为了不错过那一次真正重要的，你愿意用一小撮误报来换。

这种不对称就是整个设计的核心。你用召回率（在真实事件中抓到了多少）和 AUC-ROC（模型在所有阈值上区分危险与平安的表现）来衡量，而不是准确率；你把决策阈值往捕获事件的方向调，接受更多误报作为永不漏掉那一次关键事件的代价。

稀有事件 ML 最难的部分不是模型——而是不被高分准确率所诱惑。当你的正类稀有且漏掉代价高昂时，准确率就变成一个让人安心的谎言，真正的工作是选择能够反映现实世界中犯错真正代价的指标和阈值。

构建落石预测系统教会了我围绕"错的价值"来设计，而不是围绕"对的出现频率"。完整流水线——传感器融合、模型、告警——在项目页面上。

Divyakush Punjabi — 全栈 & AI 系统工程师 🌐 https://www.divyakush.com · 💼 LinkedIn · 💻 GitHub