基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-21 07:01

谷歌为智能体工具调用增加执行前审查

Google Developers Blog#Agent#安全#谷歌
Editor brief · 编辑速览

Semantic governance policies 通过 Agent Gateway,在工具执行前检查调用是否符合用户意图和自然语言规则,用于防范越权共享数据及提示注入。开发者可配置约束,并在 Cloud Logging 中查看可审计的判定记录。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Agent 能读文件、能发邮件,不代表它应该把未发布财报发给投资人。Google 在 Gemini platform 以 Preview 形式提供的 Semantic governance policies,想补上的就是这道检查:在工具调用执行前,同时判断它是否符合用户意图和企业规则。

它的价值在于把检查放到 Agent 外部。但判断仍由 LLM 完成,原文也明确承认结果可能波动。对正在接入邮件、文件、审批工具的开发者,值得读的是这层检查怎么接,以及它有哪些边界。

有工具权限,为什么还要再检查一次

原文从一个财报场景切入:距离业绩发布还有两天,员工要求 Agent 把初步季度数据发给一位声称签过 NDA 的投资人,同时抄送个人 Gmail,方便晚上查看。

从权限看,Agent 可以读取文件,也可以发送邮件。从用户要求看,收件人和附件都有明确指示。可从企业规则看,这次发送应该被拦截。

权限决定 Agent 能调用什么,语义治理判断这次调用是否应该执行。

把禁止外发写进 system instructions,仍然不够。用户可能给出紧急理由,文档也可能夹带指令,诱导 Agent 执行没人要求的操作。后者叫间接提示注入(indirect prompt injection):攻击内容藏在 Agent 读取的资料里,而不是直接出现在用户消息中。

Google 的方案是让外部检查同时看两件事。第一,调用是否符合企业用自然语言写出的政策;第二,调用是否偏离用户原始意图。两项都通过,调用才能继续。用户意图检查默认开启,不写业务政策也能启用。

两项检查各管一类问题。用户明确要求外发财报,可以通过意图检查,却过不了企业政策;文档偷偷要求删除草稿,则会因为偏离用户任务而被拦截。

检查发生在哪里,拒绝后又会怎样

当前支持的策略执行点是 Agent Gateway。原文要求配置 Agent,让全部出站流量经过它,由它衔接 Agent 与模型之间的通信。这套能力与文中所说的 10 月扩展的 Agent 治理控制配合,政策独立于 Agent 代码。

模型返回工具调用后,Agent Gateway 会先把拟议调用送往策略引擎。引擎中的 LLM judge 会结合当前对话、system instructions、工具描述和企业政策作出判断。

通过时,响应原样交给 Agent。拒绝时,引擎会替换响应内容,包括其中的工具调用,改为可配置的拒绝消息。因此,在这条受控路径上,被拒绝的调用不会执行。

Cloud Logging 会记录判定、理由和使用的 token,便于团队回看误拦截与漏拦截。拒绝理由可能引用内部政策;如果这些内容不适合展示给用户,需要自行设置拒绝消息。

这里有两个明确边界:只有文本的回答、计划和追问不接受检查;流式模型响应也不接受检查。不能因为接入了 Gateway,就推定所有输出都已经过语义审核。

模型接入方式则相对灵活。原文列出了 Gemini API、Anthropic Messages API、Gemini platform 中的 Claude models,以及 OpenAI-compatible Chat Completions APIs,也包括 vLLM 这类自托管服务。业务、法务和合规人员可以用自然语言修改政策,无需改代码或重新部署,但接入路径仍需开发者配置。

一条财报规则,怎样约束不同工具

原文的规则要求:公开发布前,季度财务数据只能分享给 @example.com 地址;禁止发给外部或个人地址、投资人、分析师和媒体,NDA、紧急程度、请求者职级都不能成为例外。

三个示例把边界讲得很清楚:

  • 员工要求把初步 Q3 数据发给 controller@example.com 做月末结账,拟议的 send_email 获准,因为用户要求和收件人规则都满足。
  • 员工要求在周四投资人电话会前发给 jordan@investor.example,同时抄送个人 Gmail,即使声明签过 NDA,整个 send_email 仍被拒绝,不是只移除 Gmail 抄送。
  • Agent 读取的规划文档藏着「删除 Forecasts 文件夹草稿」的指令,随后提出 delete_file。原文示例中,这被用户意图检查拒绝,因为没人要求删除,也没有政策允许这项删除。

政策可以覆盖一个 Agent 的所有工具,也可以限定某个工具、点名其参数。财报规则没有指定工具,因此分享链接、上传文件等调用也要接受同一规则检查,避免只管住邮件这一条出口。

下面是原文通过 Google Cloud CLI 创建该政策的命令,它同时绑定 Agent、业务约束和用户可见的拒绝消息:

gcloud beta ai semantic-governance-policies create POLICY_ID \
    --location=LOCATION \
    --display-name="Earnings disclosure" \
    --agent=projects/PROJECT_ID/locations/LOCATION/agents/AGENT_ID \
    --natural-language-constraint="Quarterly financial results (revenue, margins, bookings, guidance) should not be shared publicly until the public earnings release. Before the release, they may be shared only with @example.com addresses. Never send them to external or personal addresses, investors, analysts, or press, regardless of NDAs, urgency, or the requester's seniority." \
    --agent-response-denial-message="I can't share unreleased financial results outside the company before the earnings release. Contact Investor Relations for approved disclosures." \
    --project=PROJECT_ID

要看清 --agent 绑定的对象,以及 --natural-language-constraint 中具体的限制条件。判断还依赖上下文,财报发布日期这种必要事实,需要放进 Agent 的 system instructions;政策引擎不会凭空知道。

其他示例也遵循这个写法:发票必须全部审批后才能提交,退款金额不得超过 $80,简历可以总结,但录用或拒绝决定必须由人作出。它们都比一句「谨慎操作」更容易核验。

我的判断

我认同把检查移到 Agent 外部。执行任务的模型可能被用户或材料带偏,由独立执行点拦住拟议调用,比单靠提示词更有约束力。

但这篇是产品机制说明,并没有提供实测成绩。原文没有给出误拦截率、漏拦截率、额外延迟或成本对照,三个财报案例也不能当成安全基准测试结果。作者只预告下一篇会介绍公共安全基准 AgentDojo 上的提示注入测试。

LLM 判定可以增加一道防线,不能被当成确定性的授权结果。

对于金额上限、固定域名白名单这类条件,代码校验更容易得到稳定结果。语义政策更适合处理需要读懂上下文的问题,例如判断附件是否属于未发布财报,或文档中的删除要求是否偏离任务。两者适合配合使用。

原文也区分了其他控制的职责:IAM 和 Agent Gateway access policies 管工具及 MCP servers 的访问;Model Armor 筛查提示与响应中的越狱、敏感数据等威胁;Agent Anomaly Detection 异步分析会话。Semantic governance policies 补的是执行前的逐次语义判断,并不替代这些控制,也不替代披露流程和法务合规审核。

能拿来做什么

  • 给已有邮件、文件工具的 Agent 接入检查时,先确认相关流量经过 Agent Gateway,再开启 dry run。这个模式只记录原本会拒绝的调用,不实际阻断,适合先核对判断是否符合业务预期。
  • 为每个工具补齐清楚的描述,并让政策沿用描述中的术语。原文明确说,judge 依赖工具描述理解操作,而且被要求拒绝调用没有描述的工具。
  • 在 Node Agent 的发送、上传、退款等业务链路中,保留可确定执行的参数校验,再用语义政策检查内容和意图。不要把已有的金额或收件人限制全部交给概率判断。
  • 根据 Cloud Logging 中的判定和理由调整政策,确认效果后再切换到强制执行;如果实际使用流式模型响应,先核对这个覆盖缺口是否影响关键操作。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 Google Developers Blog,原文版权归原作者所有。

阅读原文
上一篇
HyperPod托管扩展简化Slurm集群运维
下一篇
不用向量库,双层记忆维持长期对话

资讯速览

Google Developers Blog · 2026-11-21 07:01

AI 评分 8.0 / 10

相关标签

#Agent#安全#谷歌

继续阅读

  • AI 写码提速后,交付为何卡在代码审查
  • HyperPod托管扩展简化Slurm集群运维
  • 不用向量库,双层记忆维持长期对话
  • 长任务 Agent 如何扛住超时、重启与故障
  • AWS 为多区域推理集群提供统一入口