基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 16:38

企业 AI 助手的五道权限检查

dev.to · AI#智能体安全#权限控制#RAG
Editor brief · 编辑速览

文章按数据、身份、工具、提示和输出梳理企业 AI 助手的安全边界,要求逐项落实默认拒绝、滥用测试、责任人和审计证据。具体措施包括在检索时检查文档权限,以及隔离租户缓存、向量索引和记忆。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

据原文转述,Reuters 在 2026 年 11 月 18 日报道了一项测试:Meta Muse AI agent 通过设备权限读取了 Signal 消息,走的是预设连接器之外的访问路径。对开发者来说,接入时批准了哪个连接器,和助手运行时究竟能碰到哪些数据,是两件需要分别验证的事。

原文给出五道上线检查:数据、身份、工具、提示词和输出。它最有用的地方,是把「助手应该守规矩」改成可以写进 PR 和 CI 的断言。例如,跨租户查询必须在检索阶段返回 0 个未授权片段,撤掉 CRM 权限后的下一次受限调用必须失败。

越权数据要在进入模型上下文前拦住

RAG 会先找文档,再把命中的片段交给模型。权限检查要放在查询阶段,按文档判断当前身份能读什么。原文的失败测试很具体:租户 A 的用户索要租户 B 的发票,检索器必须返回 0 个未授权片段。只检查最终回答会漏掉一种情况:界面上显示了拒绝,发票内容却已经进了模型上下文,还可能被调用追踪记录下来。

数据盘点也要覆盖提示词、上传文件、向量嵌入、检索片段、记忆、追踪记录和备份。缓存、向量索引和记忆要按租户隔离,适用时还要细到用户。供应商是否把数据用于训练、保留多久、如何删除、由哪些分包方处理、存在哪个地区,都要按实际部署核对。产品宣传页通常回答不了某个环境具体用了什么设置。

身份这关要在每次资源请求上判断。用户通过企业 SSO 登录,Agent 使用独立的工作负载身份,两者都要对目标资源和动作有权限。凭证应短期有效且范围尽量小,密钥放在提示词之外。原文建议在对话进行中撤销用户的 CRM 权限,再看下一次受限调用能否被拒绝。会话、OAuth 授权和连接器令牌都要验证撤销能否立即生效。

模型提出动作,应用决定能不能执行

工具层要同时限制工具和目的地,由应用校验参数、资源归属和业务规则。读写权限分开,付款、删除、部署和对外发消息需要审批,任意 shell、SQL 和出站 HTTP 执行都应被拦下。接入 Model Context Protocol(MCP)时,要固定经过批准的工具定义,元数据意外变化也要复核。

原文用这段 Python 说明一次工具调用怎样经过校验、审批和执行。

def run_tool(call, user, agent):
    if call.tool not in APPROVED_TOOLS[agent.id]:
        raise PermissionError("unapproved tool")

    resource = get_resource(call.resource_id)

    if resource.tenant_id != user.tenant_id:
        raise PermissionError("tenant mismatch")

    if not (policy.can(user, resource, call.action)
            and policy.can(agent, resource, call.action)):
        raise PermissionError("unauthorized")

    args = validate_args(call.tool, call.args)

    if call.action in HIGH_IMPACT_ACTIONS:
        return approval_queue.submit(user, call, args)

    return restricted_gateway.execute(call.tool, args)

看 policy.can(...) 的两次调用,中间是 and,用户和 Agent 缺一个授权都过不了。上线时还要确保真正执行的目标就是前面查过归属、验过权限的资源。如果 call.resource_id 用来鉴权,工具却能从 call.args 另取一个资源作为目标,检查和执行就会脱节。原文也明确说这是示意代码,它依赖可信的资源查询、可靠的权限策略,以及能执行网络限制、日志、超时和限流的网关。

外部内容按数据处理,生成结果按用途校验

邮件、PDF、网页、工单和工具返回值里都可能夹带给模型看的指令,这就是间接提示注入。系统指令要和外部内容分开。提示词过滤器能识别已知模式,但原文假定仍有部分注入文本会进入上下文,所以真正执行时还得靠检索权限、工具授权、网络限制和输出检查。测试应覆盖间接注入、记忆污染、编码载荷和被篡改的工具响应。改了模型、提示词、检索或连接器,就重新跑一遍。

输出要按去向验。交给下游执行的结构化结果先过严格的 schema,展示给用户的内容要检查密钥、个人信息和跨租户数据。前端如果要渲染生成的标记,就先做清洗或转义。生成代码按不可信输入处理,合规、财务和安全决策则要能追溯到来源。原文把未授权检索、未经批准的写操作、违规网络访问和敏感数据泄露列为发布阻断项,同时要求在 CI 跟踪测试,并保留经过演练的紧急停用开关。

我的判断

这套清单最扎实的地方,是把验收条件写到了故障发生的位置。比如测跨租户访问,直接断言检索结果和来源标识,比判断模型最后有没有说「我不能提供」更容易复现。对工具调用也一样,权限日志、审批记录和模型及提示词版本能帮审查者还原当时发生了什么,日志里无须留下原始密钥。

证据和建议要分开看。原文转述了 Reuters 的测试,但没有报告作者团队用这套清单做过对照实验,也没有量化每项控制能挡住多少失败。文中提到的 LangProtect 是 Quokka Labs 自家产品的例子,原文只描述了覆盖范围。相比单加一层提示词过滤,这套做法能把校验放到每项操作真正发生的位置,落地前提是后端和连接器确实能提供细粒度权限。要是旧 CRM 只给集成一个高权限账号,应用能否拦住下一次越权请求,要看自己有没有完整接管调用路径,以及能否拿到足够新鲜的权限信息。这部分需要在各自的系统里实测。

能拿来做什么

  • 给 RAG 的 CI 加一条双租户用例,让租户 A 查询租户 B 的已知文档,同时断言检索片段和来源标识里都没有租户 B 的数据。
  • 在 Node 工具网关用同一个资源标识完成归属检查、用户与 Agent 的双重授权和执行,再加一条会话中途撤掉 CRM 权限的用例,检查下一次受限调用是否失败。
  • 按结果去向写两类回归用例。前端验证生成的 HTML 会被安全渲染,下游验证不符合 schema 的结构化结果无法触发执行。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
SWE-sweep 测试编程智能体自主找错和修复
下一篇
Docker编程沙箱支持本地和云端迁移

资讯速览

dev.to · AI · 2026-11-20 16:38

AI 评分 8.0 / 10

相关标签

#智能体安全#权限控制#RAG

继续阅读

  • 用 Python 搭建可追溯页码的本地 PDF 问答
  • SWE-sweep 测试编程智能体自主找错和修复
  • Docker编程沙箱支持本地和云端迁移
  • OpenSRE 诊断 CI 失败并提交待审修复
  • 移动应用上架前可自动排查常见拒审项