智能体技能扩张后的加载与信任难题
文章汇总技能加载、收益验证、规则冲突、状态机与信任管理相关读物。其引用实验称,在百项技能场景下,按需加载最多节省 81.7% 的令牌,但示例中增加了约 15% 的延迟。
AI 深度解读
给团队的编程 Agent 装上几十个 skill,麻烦才刚开始。同一个请求该读哪份 SKILL.md?检索命中了就值得塞进上下文吗?两个名字相近的 skill,一个要求只读,一个会提交 Git,最后谁说了算?
原文汇总了六篇文章,把这些问题串成一条从安装到更新的流程。它们各自检验一件事:安装前查安全,运行时按需加载、衡量收益、约束执行,修改后逐项检查回归。对日常用 AI 写代码的团队,最容易上手的是先看清 Agent 到底用了哪份 skill,以及用了以后任务有没有做得更好。
找得到 skill,只解决了第一道问题
Workday AI Research 在一个受控的技能检索任务里比较了两种加载方式(arXiv:2609.35692)。技能库达到 100 项时,一次性把全文塞进上下文,每次运行都崩溃了。先展示文件开头的元数据(frontmatter),选中后再读正文,最多节省 81.7% 的 token,检索成功率也提高了。代价是多一次选择调用,在论文的 Qwen3-8B 示例里,延迟大约增加 15%。
正文该不该注入,还要看它能带来多少收益。SkillDelta(arXiv:2609.32274)举了个例子:两个任务用了 skill 以后成功率都是 80%,其中一个原本就有 80%,另一个原本只有 40%。同样的最终成绩,一个没有增益,一个提高了 40 个百分点。
SkillDelta 把历史任务中使用和未使用 skill 的运行结果配对,找与新任务相近的样本来估计增益,超过阈值才注入。控制 skill 使用率相同后,它在 15 种设置里都优于随机启用。
任务显示成功,写入权限却可能已经变了
原文里有一对几乎同名的 skill。项目里的 checkpoint 要求只读,新装的 checkpoint-2 会做 Git 提交。同一个请求、同一个模型,Agent 选了后者,提交后还报告任务成功。如果验收只看结果有没有生成,这种越界写入就会漏过去。
背后的研究发表于 2026 年 10 月,从约 21,000 个公开仓库重建了 5,106 份已安装技能清单,用来研究近似重复的 skill 如何共存。原文没有给出共存比例。Claude Code、Gemini CLI、Copilot CLI 和 Codex 对同名 skill 的处理也有差异,个人目录和项目目录谁优先,要看具体工具的规则。
遇到步骤多、顺序严格的流程,HEXIS(arXiv:2609.30123)会把现有 skill 编译成扩展有限状态机。每个状态保留该步所需的领域指令,能否进入下一步则由条件和状态流转控制。检查失败,流程就进入返修状态。它在四个基准和四种执行器上,相比普通 Skill + ReAct 的平均成功率高 16.2 个百分点。使用 Qwen3.8-27B 执行时,token 用量也明显下降,原文没有给出具体降幅。
安装看安全,更新看哪些旧任务被改坏了
NVIDIA 开源的 SkillSpector 是安装前扫描工具,处在「扫描、评估、签名」流程的第一层。一项大型研究所分析的子集中,26.1% 的 skill 至少存在一处漏洞,附带脚本的 skill 存在漏洞的可能性约为两倍。这个比例有明确的样本范围。扫描结果能帮助团队做安装决策,运行效果还得靠任务评估来回答。
SAGE(arXiv:2609.36043)关注的是自动优化 skill 时怎么验收改动。平均分上涨可能掩盖旧用例回归,小而嘈杂的验证集上挑出的最高分也容易偏高。SAGE 逐项比较修改前后的结果,对退步给出更重的惩罚,再用单侧配对检验决定是否接受。20 种设置里有 19 种降低了回归率,部分降到了零。
我的判断
我最认同的是把权限约束写进验收条件。checkpoint 的例子里,只检查产物会放过 Git 提交,补上「提交记录应保持一致」才能发现问题。对已有 CI 的前端或 Node 项目,能用脚本判定的检查可以先放进现有流程。需要跨多步分支、失败后回到指定步骤时,状态机才有更明确的用处。原文没有给出它和普通 CI 门禁的维护成本对照。
几个实验数字也各有边界。100 项全量加载崩溃发生在特定测试环境里。SkillDelta 赢的是同使用率下的随机启用,跟团队手写触发规则相比如何,原文没有数据。技能少、历史记录也少的团队,可以先按需读正文,用少量固定任务跑有无 skill 的对照。是否值得再加一层增益预测,要看自己的结果。
能拿来做什么
- 给常用 skill 写清触发条件和适用范围,先让 Agent 看元数据,再按需读正文。用同一批任务记录成功率、token 和耗时,看看多一次选择调用值不值。
- 在个人目录和项目目录里检查同名或描述相近的 skill,优先核对涉及写文件和 Git 提交的版本。给只读任务加一条验收,确认工作区与提交记录符合预期。
- 给常改的 skill 留一组固定回归任务。比如改完前端构建排障指令后,逐项对比新旧结果,把原先能处理、现在失败的用例单独列出来。
- 把安装前扫描和效果评估放在不同环节。带脚本的 skill 先扫描并审阅脚本,再用团队自己的任务检查它是否带来收益。