抽查两万份技能文件后,作者给出编写准则
作者扫描了 12 个公开技能库的 23,064 份 SKILL.md,去重后约 55% 的技能描述未说明触发场景,仅 1% 自带测试。结合数百次编程会话中仅触发 26 种技能的经历,作者建议明确何时调用技能,并让技能执行工具、给出可判定的结果。
AI 深度解读
作者在自己的机器上装了约 720 个 Agent Skill,翻过几百次编程会话后,发现实际启动过的只有 26 种。他又统计了 12 个公开技能库里的 23,064 份 SKILL.md,做出了自己的技能库 mstack。
mstack 把技能拆成两个可以检验的环节:该触发时能不能触发,触发后能不能拿出证据。对已经在用 Claude Code、Codex 或 Cursor 的程序员,这篇文章最实用的部分,是怎么判断一个 Skill 该留下、该改描述,还是该补一条真正能跑的检查。
装了几百个 Skill,为什么只用到 26 种
Agent Skill 是一个含有 SKILL.md 的目录,教编码代理完成某项工作。模型挑选技能时,先看名称和描述。描述只写「提高代码质量」,模型就很难判断眼前这条需求该交给它,还是交给旁边那个也管代码质量的技能。
作者从 12 个公开库里读了 23,064 份文件,按名称去重后得到 10,579 个不同的技能名。约 55% 的描述没有交代使用时机,19% 附带脚本,1% 自带测试。他又分领域细读了几百份,发现有些 Skill 只给建议,有些会运行工具并给出判定。前者可以提醒模型遵守团队约定,后者还能回答这次检查到底过没过。
描述也有容量上限。按作者给出的数字,Claude Code 给技能清单留了约 1% 的上下文窗口,超出后会丢掉使用最少的描述。mstack 因此把 115 个技能分成 15 个领域包,按工作需要安装。
一条 Skill 跑完后,该交出什么结果
mstack 要求每个技能运行脚本,由脚本产出检查结果。结尾只有四种状态:pass、fail、not verified 和 blocked。其中 not verified 表示还没验证,不能算通过。缺少必要工具时,技能会报 blocked 并停止。像需要 3D 软件或头显的技能,作者手头没有对应设备,文档也标明了实机流程尚未测试。平台限制和阈值等易过时的数字则放在带日期的数据文件里,待对照来源核验。
核心包还附带 Claude Code 的 guard hook。它会拦截递归删除并指向 safe-delete,遇到 git reset --hard、强制推送、DROP TABLE,或名称看起来有破坏性的 MCP 工具时,会先要求确认。作者专门加了 MCP 这一层,因为单靠命令过滤器看不到 API 调用会删什么。
下面两行命令用于给 Claude Code 添加 mstack 市场并安装核心包。
/plugin marketplace add manjunani/mstack
/plugin install mstack-core@mstack
第二行只安装核心包。支持 Agent Skills 格式的其他代理可以直接使用目录里的 Markdown 和标准库 Python。项目也可以在 CLAUDE.md 或 AGENTS.md 写入 mstack-level: beginner。beginner、standard、expert 三档只调整解释量。
测试能查出漏触发,也能查出扫描器误报
核心包在只装本包的干净会话里测试,每个技能各有 10 条该触发的请求、10 条不该触发的请求。后者特意选了应该交给相邻技能的任务。80 次不该触发的请求里,误触发为 0。debrief 首轮只命中 7/10,低于作者定的 8/10 门槛。作者拿漏掉的 3 条请求改写描述,重跑后命中 9/10。
其余 107 个技能只做了较小的冒烟测试,每个各测 2 条匹配请求和 2 条相邻请求。合计 115 个技能,对 294 条匹配请求命中 277 条(94%),对 294 条相邻请求误触发 1 次。误触发也公开在 README 里。
测试还暴露了脚本自己的问题。remember 一度把换了说法的同一条决策记了两遍,也漏识别了自然语言里写出的密码。skill-check 扫描一个官方技能包时报告了 17 处失败,全部是误报,其中包括含有 credentials 一词的 API 表和为说明禁令而引用的危险命令。作者随后改了扫描逻辑,还在读输出时发现结果脚本有一个分数记反了。
我的判断
最可复用的是把「选中技能」和「做出更好的结果」分开测。94% 回答的是设定里的匹配请求有多少触发了技能。所有结果都来自单次运行,日常环境里装了其他技能后,命中和误触发情况仍需重测。作者为每个技能准备了有无 Skill 的效果对照,但还没跑过。脚本式技能能否普遍改善交付质量,目前仍是经验之谈。
如果前端项目已经用 CI 跑类型检查和测试,Skill 可以复用现有命令,并解释这次执行的结果。另写一套判定规则,就得同时维护两份标准。对于代码评审口径、文档措辞这类依赖上下文的约定,文字指引仍有用途。原文的做法更适合输入和结果都能说清楚的检查。
能拿来做什么
- 给现有 Skill 补一句具体的触发条件,再各挑几条该触发和该交给相邻技能的真实请求,记录漏触发和误触发。
- 让前端或 Node 项目的 Skill 调用仓库已有的类型检查、测试或构建脚本,并按执行结果回报状态。依赖缺失就报
blocked,流程没跑到就标not verified。 - 在团队平时使用的技能组合下重跑触发测试,再挑同一个任务做有无 Skill 的对照,按同一组验收条件检查产出。