性能基准随设备与业务演进失效时如何维护可比较的长期趋势

# 核心结论

长期性能趋势不能只保留一套永远不变的设备和阈值，也不能只观察随用户结构变化的线上总体指标。更可靠的方案是同时维护稳定基准和动态基准：稳定基准使用固定设备、系统、数据集和操作脚本，用于识别代码变化带来的因果影响；动态基准按照当前真实用户、设备和业务规模分层，用于判断现阶段用户体验是否达标。所有结果都要记录代码版本、构建配置、设备档位、场景、数据集和指标口径，才能在基准演进后连接历史趋势。

# 底层机制

一次性能观测同时受到代码版本、设备能力、系统调度、温度、网络、缓存状态、账号数据规模和操作路径影响。如果只比较总体平均值，低端设备用户占比下降可能被误判为代码优化，高端设备占比下降也可能制造伪回归。因此线上数