OpenAI Evals 迁移前先导出评测数据
据文中所述,OpenAI Evals 已进入只读状态,计划于 2026 年 11 月 30 日停用。指南建议通过 API 导出评测定义、运行记录和输出明细,迁移到 Promptfoo 后抽样重跑并校准阈值。
AI 深度解读
还在用 OpenAI Evals 给 AI 功能做回归测试的团队,眼下最要紧的是趁 API 还能读取时,把评测定义、运行记录和逐条输出都存下来。据作者 2026 年 11 月 13 日核对的信息,服务计划在 11 月 30 日关闭。
接下来才是选工具和重设通过线。配置可以转换,旧分数却不能直接拿来拦合并。再加上 12 月 11 日还有一批模型计划下线,评测工具和模型都要换的团队,可以用最终会上线的模型重跑样本,一起校准。
为什么要在选工具之前导出数据
OpenAI Evals 已于 2026 年 10 月 31 日进入只读状态。原文列出的关闭范围包括 Dashboard、API 和评测工作流用到的评分器。界面没有导出按钮,但在只读期间,Evals API 仍会返回评测定义(evals)、运行记录(runs)和逐条输出(output items)。作者建议在 11 月 30 日前把这三类数据都拉下来,转换完成后也保留原始导出。日期如有变动,以 OpenAI 的弃用公告为准。
这三类数据对应三个实际问题:当时测了什么、哪次运行出了问题、具体是哪条用例失败。只保留评测配置,迁移后还可以重跑用例,但回查旧版本表现时就少了运行记录和逐条结果。作者也建议把 /v1/prompts 里还要复用的提示词对象移到自己的源码中。
Promptfoo、Litmiq 和 DeepEval 分别适合什么场景
据原文转述,OpenAI 推荐迁往 Promptfoo。团队如果原本就通过 CLI 跑评测,并用 CI 决定 PR 能否合并,保留这套工作方式最直接。作者提供的免费浏览器转换器可以把导出内容转成 promptfooconfig.yaml、CSV 或 Litmiq 套件。原文提到完整指南里有导出脚本和 IT 工单示例,转换器的公开仓库当时尚未发布。
如果需要在浏览器里并排查看用例,可以把转换后的套件加载到 Litmiq。它由作者开发,免费使用,需要自备 OpenAI API key。作者把它定位为人工检查用例的界面,合并门禁仍可交给 Promptfoo。已经在用 DeepEval 等代码优先工具的团队,也可以把导出的数据接进现有流程,省去一次工具切换。
为什么旧分数不能直接拿来拦合并
原文指出,相似度评分和模型评审的分数,迁到新工具后不会和 OpenAI 评分器的结果完全一致。旧工具里刚好通过的用例,换一种评分实现后可能落到通过线下方。旧分数可以留作历史记录,新阈值要在新工具里抽样重跑后再定。
还有一个独立的截止日期。按作者 11 月 13 日核对的公告,gpt-5、gpt-5-mini、gpt-5-nano、gpt-5-pro、o3 和 o3-pro 计划于 2026 年 12 月 11 日下线。评测如果固定了其中一个模型,作者建议用 OpenAI 指定的替代模型重新建立基线。原文没有列出替代模型的具体名称。
我的判断
先导出是这篇最扎实的建议。只读期间还能拿到逐条结果,而工具选型可以等数据落地后再做。至于该选哪套工具,作者没给迁移耗时、评分偏差或工具间的对照数据。Promptfoo 适合 CLI 和 CI、Litmiq 适合人工检查,这些是围绕工作方式的经验判断。
对已经有合并门禁的团队,我更关心新阈值会拦住哪些 PR。抽样时把过去刚好通过、刚好失败的用例一起拿来跑,比只看两套工具的平均分更能看出门禁的行为有没有变。如果团队已经有能跑这些用例的 DeepEval 流程,沿用它也更容易复用现成的配置和 CI。
能拿来做什么
- 盘点 AI 功能依赖的评测定义、运行记录和逐条输出,在 11 月 30 日前通过 Evals API 导出,并把原始副本和转换产物分别保存。
- 检查项目里是否还引用
/v1/prompts中的可复用提示词,把仍要维护的内容迁入源码,纳入日常代码评审。 - 用 12 月 11 日之后计划使用的模型,在新工具里重跑一批代表性用例。先看临界用例的通过与失败是否符合预期,再设阈值并启用 CI 合并门禁。