OpenAI用智能体排查性能回归并验证修复
OpenAI 的内部流程由性能告警触发,智能体负责调查和提出修复,工程师审核后再检查部署是否恢复性能基线。三个多月内,系统跟踪逾 1700 次调查并定位逾 600 起问题的根因,人工抽查的 100 条根因建议中有 70 条准确。
AI 深度解读
OpenAI 把 ChatGPT 的性能告警接进了一个由 Codex 参与的工单流程。告警触发后,代理查指标、提根因、开 PR,修复上线后再检查性能有没有回到基线。三个多月里,这套流程跟踪了超过 1,700 次调查,其中超过 600 起找到了根因。
标题里的 70% 来自人工抽查的 100 条根因建议,衡量的是诊断准确性。对日常用 AI 写代码的团队,更值得看的是 OpenAI 怎么把一次聊天里的排查,变成能跨过代码审查和部署、最后用线上数据验收的工单。
有了 Codex,为什么还要做一套工单系统
在引入 Codex 之前,OpenAI 的工程师靠查指标和日志、对比调用链、调试运行中的机器、读代码来定位性能问题。他们为重复出现的问题积累了超过 30 个性能工具。Codex 能帮忙查代码、看指标和调用链,顺着请求找不同服务之间的关联,但工程师仍要带着它往下查。
团队先做了共享技能 perf-forensics,告诉 Codex 有哪些工具、什么时候用,以及性能下降时按什么顺序排查。后来他们把调查搬到云端,让告警直接启动 Codex 会话。Performance Factory 在此基础上把调查结果挂到工单上,让工程师和不同代理接着做。
这套系统有四部分。任务跟踪器按配置文件和 Markdown 提示词管理状态和人工环节,调度循环把已就绪的工作派给代理,内部 API 在 OpenAI 网络里运行 Codex,事件订阅则负责在有进展时唤醒任务。Codex 能访问代码仓库和可观测性工具,包括指标、日志、调用链、CPU 性能剖析和内存快照。遇到审查意见、自动代码检查失败或部署完成,工单可以从等待的地方继续。
为什么要让另一个 Codex 专门挑错
第一个落地的流程叫 Regression Workflow。配置好的性能告警触发后,它创建工单,依次推进调查、根因定位、提出修复和解决。代理先看哪些指标变差、变化从什么时候开始、哪些请求受影响,然后由一个独立的 Codex 会话尝试推翻它的解释。
原文举了一个 ChatGPT 的例子。调查代理把对话失败和图片下载错误联系起来,复核代理发现,内部文件定位服务恢复后,对话仍在失败。这个诊断解释不了故障持续的时间,工单于是重新进入调查。排查时碰到两条曲线一起变坏,很容易顺手把其中一条当成原因。恢复时间对不上,就是一条可以查下去的反证。
诊断通过复核后,Codex 可以实现修复并提交 PR,由工程师审查。部署后,再由另一个代理检查性能是否回到原来的基线,确认恢复才关闭工单。
我的判断
我认同把部署后的基线检查写进关闭条件。PR 合进去只能说明修复代码已合并,线上指标才回答用户遇到的问题有没有缓解。相比在聊天里让 AI 一路查到结论,工单里的证据和状态也更适合跨人、跨部署接着追。
70% 的口径要读准。OpenAI 人工评了 100 条根因建议,其中 70% 被判定准确。原文没说清样本怎么抽,也没给人工排查或单会话 Codex 的对照数据。超过 600 起定位是流程运行中的产出,70% 是建议抽查的结果,两组数字回答的是不同问题。独立复核在案例中确实发现了漏洞,至于它总体上提高了多少准确率,现有材料只够把它当成经验之谈。
这套流程还依赖现成的告警、性能工具,以及能把线上信号和代码关联起来的观测数据。对规模较小的团队,在工单里挂上证据、让 AI 辅助排查、由同事复核,往往更容易起步。等到排查反复卡在审查或部署之后,再把事件唤醒接起来。
能拿来做什么
- 给已有的前端或 Node 性能告警配一份排查模板,让 AI 先记录变差的指标、开始时间和受影响的页面或请求,再查对应的调用链和代码。
- 让另一个 AI 会话只做诊断复核,把原始证据和候选根因一起交给它,明确要求找出解释不了的时间点、请求或恢复现象。
- 在性能修复工单里提前写明要用哪条线上指标验收。部署后用同一口径和回归前的基线对比,确认恢复再关闭工单。