777 个 AI 技能审计揭示安装隐患
作者称审计了 777 个公开 AI 技能,约三分之一未通过检查,但这不等同于均存在安全漏洞。其零依赖 Python 工具 SkillDoctor 检查元数据、危险指令模式、命名冲突及上下文成本。
AI 深度解读
给 AI 安装一个 skill,相当于把一份操作规程交给它,其中可能带着 shell 命令。作者用自己开发的 SkillDoctor 检查了 6 个公开集合中的 777 个 skills,得到 310 个通过、200 个警告、267 个失败的结果。
但「约三分之一失败」不能读成「三分之一有毒」。这次检查更有价值的发现是:重复描述、凭据访问指令和上下文开销,都需要在安装前被看见;静态扫描能帮你筛查,却不能替你做信任判断。
267 个失败,到底查出了什么
SkillDoctor 是一个零依赖的 Python 单文件工具,会查找集合里的 SKILL.md,检查四件事:
- 格式是否有效,包括 frontmatter、名称采用 kebab-case,以及名称是否与文件夹一致。
- 是否出现安全风险模式,包括网络内容通过管道交给 shell、访问凭据存储、外传信息措辞、覆盖提示词、长编码内容和破坏性命令。
- 集合中是否存在重名,以及描述高度相似的 skills。
- 根据文件大小,估算它可能占用多少上下文 token。
其中,frontmatter 就是文件开头的元数据;kebab-case 则是用连字符连接单词的命名方式。格式检查关注的是指令能否被规范识别,安全检查关注的是指令可能让 AI 做什么。
作者通过 GitHub API 获取了 Anthropic's skills 的 20 个、superpowers 的 15 个、mattpocock/skills 的 39 个、addyosmani/agent-skills 的 26 个、K-Dense scientific-agent-skills 的 177 个,以及 ECC 的前 500 个,共 777 个。
按工具给出的百分制健康分,前五个集合依次为 97、100、99、92、96 分;ECC 为 76 分,其前 500 个中有 253 个失败、155 个警告。作者指出,ECC 的失败集中在重复项,许多 skills 的描述几乎相同,容易干扰 AI 选择。
这次的「失败」混合了格式、重复和安全问题,不能直接当作恶意代码检出率。
真正需要人工读的是哪些指令
全部样本中,136 个提到了 API keys、tokens 或 passwords,97 个引用了凭据存储,9 个使用了破坏性命令,8 个命中了最高严重级别模式:指示读取或发送凭据材料。原文没有说明这些类别是否重叠,不能相加当成风险 skill 总数。
作者也承认,提到密钥不等于有问题。一个负责配置 API 的 skill,谈到 API key 很正常。SkillDoctor 采用的是模式启发式检查,也就是寻找可疑文本特征,而不是证明实际行为有害。
因此,命中后的下一步应该是读具体指令:它读取什么、发往哪里、是否与任务有关。原文没有展开那 8 个最高严重级别样本,也没有提供误报率,尚不足以判断检测有多准。
工具可以逐项评分,为失败项给出修复提示,还能将失败项移入可恢复的隔离文件夹,不会删除文件。它支持单文件运行、GitHub Action、独立二进制和 PyPI 安装。最直接的用法是:
pip install skillcheckup
skilldoctor path/to/your/skills
注意第一行的安装包叫 skillcheckup,第二行的命令叫 skilldoctor;扫描路径需要换成自己的 skills 目录。
上下文成本成立,但要看实际加载方式
作者估算,777 份文件如果同时放进一个上下文,会占用约 176 万,即 1.76 million tokens。这个数字说明指令文本也有成本,但它是所有文件同时加载的假设,不是作者测出的某个平台单次对话消耗。
原文进一步把安装 skill 比作每次对话都要交的租金,这句话需要加上前提:平台究竟加载完整正文,还是只先提供描述、使用时再读取正文?原文没有说明。
重复描述也类似。它可能让 AI 难以选对 skill,但文中没有提供选择准确率的对照实验。可以据此清理集合,却不能据此计算清理后能提升多少效果。
我的判断
我认同作者把 skills 当作可执行指令来审查。来源公开、收藏很多,都不足以替代阅读,尤其是涉及 shell、凭据和网络发送的部分。
但这份审计更适合当作筛查报告。小集合分数更高,支持作者「小而持续维护的集合更干净」的经验判断;它还没有排除集合规模、内容用途和评分规则的影响。原文也没展开权重、阈值及误报验证,健康分不宜直接变成选型排名。
相比只看扫描分数,人工审阅能理解任务目的;相比完全靠人读,静态工具能快速定位检查位置。两者配合更实用。
另外,作者同时维护 SkillPort,为 Claude、Cursor、Codex 和 ChatGPT 提供统一标准并转换适配的精选包。这是相关产品介绍,不能作为其安全性已经得到独立验证的依据。
能拿来做什么
- 给前端或 Node 项目引入公共 skill 前,先扫描本地目录,再人工检查命中的 shell 命令、凭据读取和发送目标,确认它们服务于当前任务。
- 维护团队 skills 时,同时审查名称和描述;遇到功能重叠、描述近似的条目,明确适用范围,再决定合并或保留。
- 评估上下文成本时,先确认所用 AI 编程工具的加载方式,再估算实际消耗,不要把全部文件大小当成每轮对话的固定账单。
- 对暂时无法确认的失败项,优先使用可恢复的隔离方式,核实后再决定是否继续使用。