Copilot 评测工具开放公开预览
GitHub Copilot Evals 进入公开预览,开发者可评估提示词、模型、技能或工具调整对 Copilot 表现的影响。
AI 深度解读
改完 Copilot 的 skill,试跑一次发现它能按要求干活,这次改动就算稳了吗?同一个任务多跑几次,答案可能会变。GitHub Copilot Evals 进入公开预览,让你把日常任务和验收条件存成可重复运行的评测,改完配置后用同一套题检查有没有退步。
对已经在给 Copilot 写项目规则、配自定义 agent 或接 MCP 工具的团队,这篇公告最实用的部分是,除了检查最终结果,还能检查 agent 是怎么完成任务的。
一次评测可以同时看结果和过程
一条 eval 就是一场可以重跑的行为测试。你给 agent 一个真实任务,事先写清楚什么算做对,再检查两件事。第一件是它交付了什么,第二件是它采取了哪些操作。
拿前端项目里的表单改动举例。结果可以检查提交失败后页面是否保留用户输入,过程可以检查 agent 是否沿用了项目现有的表单组件。两份改动都可能满足页面验收,但如果其中一次绕开现有组件又写了一套,单看页面就很难发现这项偏差。只有在验收条件里写清组件复用要求,前后对比才有据可依。
改完配置,用同一套题检查有没有退步
你可以用自然语言请 Copilot 创建评测,也可以用 /eval 为项目里的 skill、自定义 agent 或 MCP 工具建一条评测。每次运行前都需要你批准。跑完可以看哪些检查通过、哪些失败,再查失败原因,决定要改哪里。改动前后各跑一遍同一条评测,就有了可以直接对比的结果。
GitHub Copilot Evals 使用可扩展的本地评测工具 Vally 作为引擎。Visual Studio Code 用户可以从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展。Copilot CLI 用户按安装说明装插件。GitHub Copilot app 用户可以打开 Customize,添加 github/evals marketplace,再安装插件。公开预览覆盖 Copilot Individual、Copilot Business 和 Copilot Enterprise。
我的判断
我认同把过程也写进验收条件。对于代码能编译、单测能跑过这类要求,项目里已有的测试和 CI 就能给出清楚的判定。Evals 更适合补上另一类问题,比如 agent 是否选对了工具,是否按团队约定先查项目里的现有实现。
公告给出了工作流,没有展示对照实验,也没交代每项检查具体怎么判定、同一道题跑几次才足以区分改动效果和模型波动。用同一套任务做前后对照是合理的工程做法。至于某次修改是否真的带来了稳定改善,一次通过只能说明那一次的结果。
能拿来做什么
- 从一个经常交给 Copilot 的前端任务开始。比如给现有页面补一个失败状态,验收时同时检查用户能否重试,以及实现有没有用上项目已有的组件。
- 调整 skill 或自定义 agent 前先跑一轮留下基线,改完用同一任务和验收条件再跑。关键检查可以多跑几次,模型和其他配置尽量保持一致,方便判断差异来自哪里。
- 给常用的 MCP 工具准备一个确实需要它的任务。把是否调用预期工具、最终答案是否符合工具返回的信息写成两项检查,失败时就能区分问题出在工具选择还是结果使用上。