英伟达开源 Agent 技能评测框架
SkillEvaluator 从质量门禁、语义重叠检测到真实 Agent 运行,分层评估技能质量及其对任务结果的影响。支持生成合成评测数据、接入 CI,并通过启用与禁用技能的对照运行检验收益,基础检查无需 API 密钥。
AI 深度解读
给 AI 编程助手装上一个 skill,究竟是在提高完成率,还是只增加了一份看起来专业的说明书?NVIDIA 的 SkillEvaluator 试图把这件事拆开验证:先检查技能文件的质量与安全,再检查重复,最后比较启用和不启用技能时的任务结果。
它值得程序员关注的地方,是把「写得规范」和「实际有用」分开了。但原文展示的是工具流程与示例结果,并没有给出技能普遍改善任务表现的对照数据。读懂它,重点是学会怎样验收 skill,以及哪些通过状态还不能当作效果证明。
文件检查通过,为什么还不能证明技能有用
这里的 agent skill,是遵循 Agent Skills specification 的文件夹,里面包含指令和辅助文件。SkillEvaluator 属于 NVIDIA Verified Skills 流水线,通过三个可以独立运行的层级检查这些技能。
Tier 1 负责基础验证,涉及静态质量与安全扫描;Tier 2 负责去重和技能间比较;Tier 3 才进入真实 agent 执行,观察技能对任务结果的影响。
技能说明写得合格,只能证明它具备接受进一步评估的条件。
原文的入门示例很适合说明这个边界。准备好 uv 和 Git 后,通过 git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git 获取仓库,再执行 cd SkillEvaluator。下面这段命令检查内置的 text-analyzer,并同时生成终端和 JSON 报告:
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-quality
要留意的是 quality-check:它检查静态质量,并没有启动 agent 做任务。原文报告的结果是 86.2/100(B),退出码为 0,默认通过线为 70,报告写入 reports/first-quality/skillevaluator-quality.json。
这个示例不需要 API key、扫描器、GPU 或 Docker,但发布证据仍然是 INCOMPLETE。安全检查需要扫描器,任务影响需要真实执行,不能从这个分数推导出来。
另一条路径是让模型按评分准则审阅技能文档。配置 SKILL_EVAL_LLM_PROVIDER=nv_build 和 NVIDIA_API_KEY='nvapi-...' 后,使用 --extra llm 运行 rubric-eval,反馈保存在 reports/first-build/skillevaluator-rubric.json。它不需要 agent runtime 或 Docker,但会把技能文档发送给模型。
这里依然只是文档评审。评估流程跑完,也可能因为没有达到评分阈值而失败。
真正接进流水线,要分清检查、执行和阻断
工具提供了三种入口。可以用 pip install skillevaluator,也可以用 uv tool install skillevaluator 安装;用 skillevaluator ci init 为 GitHub 打开配置 PR,GitLab 则复制 CI 模板;还可以通过 npx skills add NVIDIA/SkillEvaluator,把它装进 Claude Code、Codex 等支持技能的 agent。没有 Node.js 时,原文给出的替代方式是复制技能文件夹。
但入口方便,不代表依赖已经齐全。skillevaluator validate ./my-skill --tiers 1 不需要 API key,仍可能需要扫描器。Tier 1 缺少依赖时会获取固定版本、经过验证的 SkillSpector 和 Gitleaks,Semgrep 则可选。--no-llm 只关闭模型相关部分,不会取消扫描要求;扫描器无法运行,结果会是 INCOMPLETE,并以非零状态退出。
配置好 provider、扫描器和 agent 沙箱后,完整流程是:
uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker
uv run --python 3.13 --extra all skillevaluator validate ./my-skill
要注意第一行的 doctor:它只检查环境是否就绪,不保证后续模型推理一定成功。沙箱中的 agent 执行由开源评估框架 Harbor 支撑,模型和托管沙箱都可能产生费用。
默认阻断规则也需要读清楚。Tier 1 会阻断 validate;Tier 2 默认阻断,除非设置 --no-block-on-dedup;Tier 3 只有加上 --block-on-agent-eval 才会阻断。因此,一次流水线成功退出,不能自动解释成真实任务效果已经达标。
需要逐步接入时,可以用 --tiers 1,2 跳过真实执行,或用 --tiers 1 只运行第一层。Tier 2 如果没有完成技能间比较,也会报告这一情况。
最容易高估的是自动生成评估集。Tier 3 的 autopilot 会复用已有来源,或者生成一个依据技能内容构造的案例。原文明确承认,后者覆盖有限。
要单独生成更完整的数据集,可以执行 uv run --python 3.13 --extra tier3 skillevaluator tier3 create-eval-dataset ./my-skill --full --prompt eval-guidance.md --force。前提是提供有实质内容的 evals/EVAL.md、包含任务请求和预期结果的 --prompt 文件,或匹配的留存执行轨迹。
其中,--force 替换 autopilot 起始案例,--refine 用于细化;显式设置 --grounding skill 允许只依据技能生成起始案例。--no-autopilot 则要求已有来源。生成后仍需人工审查,模板也不会补上未编写的负例。
我的判断
我认可它把文档质量、安全检查、重复检查和任务效果分开处理。这比只让模型回答「这个 skill 好不好」更容易定位问题:究竟是说明不完整、依赖跑不起来,还是 agent 用了以后仍然做不好任务。
但原文没有提供启用与禁用技能的成功率差异,也没有给出评估成本、重复实验或跨模型结果。86.2 分只是内置示例的静态质量成绩,不能作为工具能改善编程结果的证据。
真正决定评估价值的,仍然是任务集。只从技能说明生成一个案例,适合打通流程,却容易漏掉指令冲突、异常输入和技能不该介入的任务。如果团队已有实际失败记录,我更倾向于先把这些记录整理成案例,再使用自动生成补充覆盖。
使用门槛也有前提。原文以 Python 3.13 的 uv 命令为主,Python 标识列出 3.12、3.13、3.14;完整链路还涉及扫描器、模型服务和沙箱。NVIDIA 托管端点的免费原型使用,需要符合 Developer Program 资格,并受访问条款和速率限制。
项目采用 Apache License 2.0,但支持等级是 Experimental,由社区尽力维护,没有 SLA,也不包含 NVIDIA 企业支持权益。用于团队发布门禁前,应先确认自己能维护这些依赖和失败处理。
能拿来做什么
- 如果团队维护了代码审查或项目约定类 skill,可以先用
quality-check留下质量报告,再通过 CI 检查每次修改。把它作为基础验收,比直接拿静态分数评价任务效果更合适。 - 为日常 AI 编程技能整理真实任务,写明请求、预期结果和失败条件,再比较启用与禁用技能的运行结果。自动生成案例可以作为起点,关键验收任务仍应由团队确认。
- 接入发布流程时,明确哪些结果必须阻断。如果要求真实执行达标,就显式配置
--block-on-agent-eval,同时检查报告中的INCOMPLETE。 - 保存每次评估使用的 SkillEvaluator release 或 commit、报告和案例来源。修改工具本身时,按原文执行
make lint && make test && make build,让后续结果具备可追溯的基础。