基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
编程提效2026-11-20 15:00

OpenAI用智能体排查性能回归并验证修复

dev.to · AI#智能体#性能回归#故障排查
Editor brief · 编辑速览

OpenAI 的内部流程由性能告警触发,智能体负责调查和提出修复,工程师审核后再检查部署是否恢复性能基线。三个多月内,系统跟踪逾 1700 次调查并定位逾 600 起问题的根因,人工抽查的 100 条根因建议中有 70 条准确。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

OpenAI 把 ChatGPT 的性能告警接进了一个由 Codex 参与的工单流程。告警触发后,代理查指标、提根因、开 PR,修复上线后再检查性能有没有回到基线。三个多月里,这套流程跟踪了超过 1,700 次调查,其中超过 600 起找到了根因。

标题里的 70% 来自人工抽查的 100 条根因建议,衡量的是诊断准确性。对日常用 AI 写代码的团队,更值得看的是 OpenAI 怎么把一次聊天里的排查,变成能跨过代码审查和部署、最后用线上数据验收的工单。

有了 Codex,为什么还要做一套工单系统

在引入 Codex 之前,OpenAI 的工程师靠查指标和日志、对比调用链、调试运行中的机器、读代码来定位性能问题。他们为重复出现的问题积累了超过 30 个性能工具。Codex 能帮忙查代码、看指标和调用链,顺着请求找不同服务之间的关联,但工程师仍要带着它往下查。

团队先做了共享技能 perf-forensics,告诉 Codex 有哪些工具、什么时候用,以及性能下降时按什么顺序排查。后来他们把调查搬到云端,让告警直接启动 Codex 会话。Performance Factory 在此基础上把调查结果挂到工单上,让工程师和不同代理接着做。

这套系统有四部分。任务跟踪器按配置文件和 Markdown 提示词管理状态和人工环节,调度循环把已就绪的工作派给代理,内部 API 在 OpenAI 网络里运行 Codex,事件订阅则负责在有进展时唤醒任务。Codex 能访问代码仓库和可观测性工具,包括指标、日志、调用链、CPU 性能剖析和内存快照。遇到审查意见、自动代码检查失败或部署完成,工单可以从等待的地方继续。

为什么要让另一个 Codex 专门挑错

第一个落地的流程叫 Regression Workflow。配置好的性能告警触发后,它创建工单,依次推进调查、根因定位、提出修复和解决。代理先看哪些指标变差、变化从什么时候开始、哪些请求受影响,然后由一个独立的 Codex 会话尝试推翻它的解释。

原文举了一个 ChatGPT 的例子。调查代理把对话失败和图片下载错误联系起来,复核代理发现,内部文件定位服务恢复后,对话仍在失败。这个诊断解释不了故障持续的时间,工单于是重新进入调查。排查时碰到两条曲线一起变坏,很容易顺手把其中一条当成原因。恢复时间对不上,就是一条可以查下去的反证。

诊断通过复核后,Codex 可以实现修复并提交 PR,由工程师审查。部署后,再由另一个代理检查性能是否回到原来的基线,确认恢复才关闭工单。

我的判断

我认同把部署后的基线检查写进关闭条件。PR 合进去只能说明修复代码已合并,线上指标才回答用户遇到的问题有没有缓解。相比在聊天里让 AI 一路查到结论,工单里的证据和状态也更适合跨人、跨部署接着追。

70% 的口径要读准。OpenAI 人工评了 100 条根因建议,其中 70% 被判定准确。原文没说清样本怎么抽,也没给人工排查或单会话 Codex 的对照数据。超过 600 起定位是流程运行中的产出,70% 是建议抽查的结果,两组数字回答的是不同问题。独立复核在案例中确实发现了漏洞,至于它总体上提高了多少准确率,现有材料只够把它当成经验之谈。

这套流程还依赖现成的告警、性能工具,以及能把线上信号和代码关联起来的观测数据。对规模较小的团队,在工单里挂上证据、让 AI 辅助排查、由同事复核,往往更容易起步。等到排查反复卡在审查或部署之后,再把事件唤醒接起来。

能拿来做什么

  • 给已有的前端或 Node 性能告警配一份排查模板,让 AI 先记录变差的指标、开始时间和受影响的页面或请求,再查对应的调用链和代码。
  • 让另一个 AI 会话只做诊断复核,把原始证据和候选根因一起交给它,明确要求找出解释不了的时间点、请求或恢复现象。
  • 在性能修复工单里提前写明要用哪条线上指标验收。部署后用同一口径和回归前的基线对比,确认恢复再关闭工单。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Depth Pro 2兼顾视频深度边缘与帧间稳定
下一篇
任务流程何时需要智能体

资讯速览

dev.to · AI · 2026-11-20 15:00

AI 评分 9.0 / 10

相关标签

#智能体#性能回归#故障排查

继续阅读

  • 打印机用 14.1MB 内存跑起 Gemma 3
  • Depth Pro 2兼顾视频深度边缘与帧间稳定
  • 任务流程何时需要智能体
  • 排查 Claude Code 自动模式的两类故障
  • 双层模型路由在哪些环节失去成本优势