构建贴近真实流量的 AI 入侵检测
指南从检测目标、输入粒度、部署环境和实时性出发,梳理数据集选择、检测流水线与评估。文章指出,陈旧基准上的高准确率难以代表系统在现代网络中的表现。
AI 深度解读
GitHub 上不少入侵检测项目报告了超过 99% 的准确率。可把模型接到真实网络后,流量一变,分数可能掉下来。即使分数没掉,误报也可能先把告警队列塞满。作者从数据集、特征管道一路讲到上线,解释了离线高分在哪些环节会失去参考价值。
这篇指南最值得带走的是一套验证顺序。先定义系统要在什么时点发现什么,再看模型能否在没见过的流量上工作,最后把误报率换算成每天要处理的告警。选模型可以往后放。
先定检测时点,再决定收哪些数据
入侵检测可以做成二分类,只判断流量是否可疑,也可以做成多分类,进一步给出攻击类型。输入可以是单个数据包、网络流,或者一段时间内汇总的活动。网络流可以理解为把一组相关的数据包归到一起,再统计持续时间、包数、字节数和包到达间隔。企业局域网、云端工作负载和 IoT 网段的流量各有特点,实时告警与事后分析允许使用的特征也不同。
这个选择直接影响特征管道。作者给出的流程是先抓包或接入镜像流量,再用 CICFlowMeter、Zeek 或 NetFlow 风格的导出器生成流记录。之后处理缺失值、除零产生的无穷值和不一致的单位,再按模型需要编码类别字段、缩放数值。训练时还能看到协议、标志位计数和完整流的统计量,但如果系统要在连接结束前报警,最终持续时间和总字节数就来不及用。原始 IP 和时间戳也要谨慎引入,模型有可能记住某台机器或某一轮采集的时间,换个网段就失去依据。
随机切出的测试集,容易把成绩抬高
公开数据适合起步,各有适用范围。NSL-KDD 改自 KDD Cup 1999,仍可用于教学,对现代流量的代表性有限。UNSW-NB15 混合了正常活动和多类合成攻击。CIC-IDS2017 和 CSE-CIC-IDS2018 提供流级数据,覆盖暴力破解、DoS、Web 攻击、渗透和僵尸网络等类别。ToN-IoT、Bot-IoT 与 IoT-23 则偏向 IoT 环境。
拿到数据后,先查重复记录、错标、直接泄露标签的字段,以及流量配比是否过于理想化。尤其要看某类攻击是否集中在一次短采集里。如果把同一场景里的近似记录随机分到训练集和测试集,模型可能只记住那次采集的特征。按时间切分,用早期流量训练、后期流量测试,更接近上线后遇到的情况。整类攻击留出,则是在问模型遇到未见过的攻击行为时能否识别异常。对多分类任务,这种测试还得说清楚,遇到未知攻击时,怎样的输出算检测成功。
作者举了一个例子,测试换成留出攻击家族或另一套数据后,分数可能从 99% 掉到 70%。这两个数字用来说明测试条件会怎样改变结论,原文没有给出对应的实验记录。手头有自己的流量时,即使暂时没有标签,也可以先看模型的分数分布和告警量会不会突变。要计算召回率,仍需要标注或人工复核。
每天有多少条误报,比准确率更贴近上线决策
先用 Random Forest 或梯度提升树跑出基线,记下效果和训练耗时,再试 CNN、LSTM 或自编码器。类别极不均衡时,可以用类别加权、SMOTE 过采样、多数类欠采样,或者只用正常流量训练异常检测模型。重采样只做在训练集里,验证集和测试集要保留各自原有的类别比例。
如果 97% 的记录都是正常流量,模型一律判正常也有 97% 的准确率,却一条攻击都抓不到。作者建议看逐类精确率和召回率,用混淆矩阵定位误判,再结合 ROC 和精确率-召回率曲线选阈值。误报率还要乘上每天的正常流量量级。以流为判断单位,每天有 20 万条正常流、误报率为 1%,未经聚合就会产生约 2,000 条误报告警。这是按原文的例子推算,实际要处理多少条还取决于去重和聚合。检测延迟和吞吐量也要一起测,才能判断告警能不能及时送到值班人员手里。
我的判断
作者最有说服力的一点,是把数据切分和告警成本放到了模型选型前面。SHAP 或 LIME 可以帮团队发现模型过于依赖哪个字段,再用去掉该字段后的重测确认影响。至于「数据怎么切,比选什么算法更重要」,原文没有给出同一批数据上的对照实验,这是经验之谈。实操时可以先固定时间切分和评估口径,让模型在同一场测试里比较。
部署也要看团队缺哪一块。Kafka 流式处理适合有明确时效要求的任务,轻量服务或批量评分也可以满足部分场景。自建便于控制特征和阈值,但数据维护、告警接入、漂移监控、重训和回滚都要有人负责。作者提到商业平台与开源组件混用的做法,原文没有提供成本或效果对照。已有 SIEM 或规则告警的团队,可以先让模型并行产出告警,用人工复核结果判断它能否补发现有流程漏掉的事件。
能拿来做什么
- 给检测任务写清输入单位、报警时点和目标网络。做实时检测时,逐项核对特征在报警前能否拿到,再用同一套转换逻辑跑训练和线上推理。
- 在日常 AI 编程中,让助手先写重复记录和跨集合泄漏检查,再用按时间留出的数据跑树模型基线。把重采样限制在训练流程里,把逐类指标和训练耗时留作后续对照。
- 试运行时先只发告警,把结果以结构化格式送到已有的 SIEM 或工单系统。结合输入分布、模型分数、告警量和人工反馈设定重训条件,并给上线模型保留可回滚的版本。