Agent安全审计:消除上下文泄露风险
指出使用AI Agent的安全隐患,提倡形式化安全审计标准,类似npm audit的必要性。
指出使用AI Agent的安全隐患,提倡形式化安全审计标准,类似npm audit的必要性。
插件质量与性能提升指标
安装 npm package 时,你可以运行 npm audit。安装 Python package 时,有 pip-audit。但当你安装插件,为 AI Agent 赋予新的技能和规则——也就是那些会直接影响它如何推理、如何行动的东西——你该运行什么工具呢?
如果你的答案是“什么都不运行”,那你并不孤单,也正因如此,我开发了 tessl-audit!你可以在 GitHub 和 npm 上找到它。
Agent 插件本质上是加载到 AI Agent 上下文中的指令。存在安全问题的插件不仅仅会暴露某个服务器 endpoint,还可能以隐蔽且难以察觉的方式影响 Agent 的行为:它可能会诱导 Agent 采用不安全的模式、泄露本不该暴露的数据,或者只是让 Agent 的工作表现变得更差。
针对你的 Agent 技能,请问自己以下三个问题。如果其中任何一个问题的答案是否定的,那么借助 tessl-audit,你只需几秒钟就能给出肯定的回答。
你的所有技能都经过安全扫描了吗?如果是,结果如何?
你能证明自己的技能确实足够好吗?质量评分可以反映一个插件编写得是否完善、内容是否完整。评分较低意味着 Agent 得到的指导质量很差。
你的技能和插件真的有帮助吗?提升评分用于衡量:与单独使用原生 Agent 相比,某个插件是否改善了 Agent 的任务表现。
这是一个免费的开源工具,底层使用 Tessl。如果你的 Tessl 项目已经安装了插件,只需在项目根目录运行:
npx tessl-audit
等等,就这么简单吗?没错,就是这么简单。它会读取你的 tessl.json,从 registry 获取每个插件的实时数据,并在大约 30 秒内输出一份报告。
脚本首先会检查 tessl.json manifest 文件中列出的所有上下文文件。这个过程通常很快就能完成,随后你会看到下方的表格,其中包含项目上下文的详细分析,以及检测到的各类警告。
接下来,该工具会给出所有上下文的安全态势摘要,更详细地说明项目中风险最高的技能及其具体问题。
你可以点击其中任意链接,在 registry 的 Web UI 中查看实际问题。
最后,该工具还会提供后续操作,包括可以使用的 CLI 命令(你也可以让 Agent 调用这些命令),用于优化技能、创建 eval 并运行 eval。
报告会列出每个被标记的插件、对应的警告代码,以及指向 registry 中完整安全报告的直接链接。你不必再四处查找;安全态势报告会在一个列表中呈现完整摘要,方便你在必要时深入调查。只需打开链接,阅读检测结果,再判断它是否适用于你的使用场景。
你正在使用的插件为 Agent 提供的指导不完整,或者结构不合理。运行:
tessl skill review --optimize workspace/plugin-name
该命令会执行质量审查,并自动应用改进。
这个插件从未针对真实任务进行过评估——因此,你根本不知道它究竟是在帮助还是在拖累 Agent。可以这样解决:
tessl scenario generate --count 5 workspace/plugin-name
tessl eval run workspace/plugin-name
先根据插件生成一组测试场景,然后运行 eval。你会得到一个具体的提升评分,从而判断这个插件是否值得保留。
每一个使用 AI Agent 的团队,都在构建由技能、规则和知识组成的依赖图,就像他们构建 package 依赖图一样。用于审计这张依赖图的工具仍在不断完善,但风险已经真实存在,而且还在持续增长。
tessl-audit 是一个虽小却实用的进步:一条命令、零安装,并提供可直接采取行动的输出。今天就运行它,看看你的 Agent 实际上在使用什么。
npx tessl-audit
tessl-audit 需要 Tessl CLI(不用担心,它已经作为依赖包含在内)以及已通过身份验证的 Tessl session(如果还没有账号,只需免费注册一个)。要运行 tessl-audit 工具,你还需要一个 tessl.json,它是一个上下文 manifest 文件。
使用场景评估技能质量
根据最佳实践审查技能
Skill Optimizer 插件
部分评论可能仅对已登录的访客可见。登录后即可查看所有评论。
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。