基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-22 21:27

777 个 AI 技能审计揭示安装隐患

dev.to · AI#智能体技能#安全审计#上下文
Editor brief · 编辑速览

作者称审计了 777 个公开 AI 技能,约三分之一未通过检查,但这不等同于均存在安全漏洞。其零依赖 Python 工具 SkillDoctor 检查元数据、危险指令模式、命名冲突及上下文成本。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 AI 安装一个 skill,相当于把一份操作规程交给它,其中可能带着 shell 命令。作者用自己开发的 SkillDoctor 检查了 6 个公开集合中的 777 个 skills,得到 310 个通过、200 个警告、267 个失败的结果。

但「约三分之一失败」不能读成「三分之一有毒」。这次检查更有价值的发现是:重复描述、凭据访问指令和上下文开销,都需要在安装前被看见;静态扫描能帮你筛查,却不能替你做信任判断。

267 个失败,到底查出了什么

SkillDoctor 是一个零依赖的 Python 单文件工具,会查找集合里的 SKILL.md,检查四件事:

  • 格式是否有效,包括 frontmatter、名称采用 kebab-case,以及名称是否与文件夹一致。
  • 是否出现安全风险模式,包括网络内容通过管道交给 shell、访问凭据存储、外传信息措辞、覆盖提示词、长编码内容和破坏性命令。
  • 集合中是否存在重名,以及描述高度相似的 skills。
  • 根据文件大小,估算它可能占用多少上下文 token。

其中,frontmatter 就是文件开头的元数据;kebab-case 则是用连字符连接单词的命名方式。格式检查关注的是指令能否被规范识别,安全检查关注的是指令可能让 AI 做什么。

作者通过 GitHub API 获取了 Anthropic's skills 的 20 个、superpowers 的 15 个、mattpocock/skills 的 39 个、addyosmani/agent-skills 的 26 个、K-Dense scientific-agent-skills 的 177 个,以及 ECC 的前 500 个,共 777 个。

按工具给出的百分制健康分,前五个集合依次为 97、100、99、92、96 分;ECC 为 76 分,其前 500 个中有 253 个失败、155 个警告。作者指出,ECC 的失败集中在重复项,许多 skills 的描述几乎相同,容易干扰 AI 选择。

这次的「失败」混合了格式、重复和安全问题,不能直接当作恶意代码检出率。

真正需要人工读的是哪些指令

全部样本中,136 个提到了 API keys、tokens 或 passwords,97 个引用了凭据存储,9 个使用了破坏性命令,8 个命中了最高严重级别模式:指示读取或发送凭据材料。原文没有说明这些类别是否重叠,不能相加当成风险 skill 总数。

作者也承认,提到密钥不等于有问题。一个负责配置 API 的 skill,谈到 API key 很正常。SkillDoctor 采用的是模式启发式检查,也就是寻找可疑文本特征,而不是证明实际行为有害。

因此,命中后的下一步应该是读具体指令:它读取什么、发往哪里、是否与任务有关。原文没有展开那 8 个最高严重级别样本,也没有提供误报率,尚不足以判断检测有多准。

工具可以逐项评分,为失败项给出修复提示,还能将失败项移入可恢复的隔离文件夹,不会删除文件。它支持单文件运行、GitHub Action、独立二进制和 PyPI 安装。最直接的用法是:

pip install skillcheckup
skilldoctor path/to/your/skills

注意第一行的安装包叫 skillcheckup,第二行的命令叫 skilldoctor;扫描路径需要换成自己的 skills 目录。

上下文成本成立,但要看实际加载方式

作者估算,777 份文件如果同时放进一个上下文,会占用约 176 万,即 1.76 million tokens。这个数字说明指令文本也有成本,但它是所有文件同时加载的假设,不是作者测出的某个平台单次对话消耗。

原文进一步把安装 skill 比作每次对话都要交的租金,这句话需要加上前提:平台究竟加载完整正文,还是只先提供描述、使用时再读取正文?原文没有说明。

重复描述也类似。它可能让 AI 难以选对 skill,但文中没有提供选择准确率的对照实验。可以据此清理集合,却不能据此计算清理后能提升多少效果。

我的判断

我认同作者把 skills 当作可执行指令来审查。来源公开、收藏很多,都不足以替代阅读,尤其是涉及 shell、凭据和网络发送的部分。

但这份审计更适合当作筛查报告。小集合分数更高,支持作者「小而持续维护的集合更干净」的经验判断;它还没有排除集合规模、内容用途和评分规则的影响。原文也没展开权重、阈值及误报验证,健康分不宜直接变成选型排名。

相比只看扫描分数,人工审阅能理解任务目的;相比完全靠人读,静态工具能快速定位检查位置。两者配合更实用。

另外,作者同时维护 SkillPort,为 Claude、Cursor、Codex 和 ChatGPT 提供统一标准并转换适配的精选包。这是相关产品介绍,不能作为其安全性已经得到独立验证的依据。

能拿来做什么

  • 给前端或 Node 项目引入公共 skill 前,先扫描本地目录,再人工检查命中的 shell 命令、凭据读取和发送目标,确认它们服务于当前任务。
  • 维护团队 skills 时,同时审查名称和描述;遇到功能重叠、描述近似的条目,明确适用范围,再决定合并或保留。
  • 评估上下文成本时,先确认所用 AI 编程工具的加载方式,再估算实际消耗,不要把全部文件大小当成每轮对话的固定账单。
  • 对暂时无法确认的失败项,优先使用可恢复的隔离方式,核实后再决定是否继续使用。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
把编辑器里的 API 验证变成 CI 门禁
下一篇
MiniMax 公布自动化密码分析成果与代码

资讯速览

dev.to · AI · 2026-11-22 21:27

AI 评分 8.0 / 10

相关标签

#智能体技能#安全审计#上下文

继续阅读

  • 把自然语言云策略落成可执行审计规则
  • 把编辑器里的 API 验证变成 CI 门禁
  • MiniMax 公布自动化密码分析成果与代码
  • SenseNova 循环模型的显存与算力账
  • 用调用轨迹拦截 Agent 行动幻觉