8.0
热点
AI SCORE
工具产品2026-09-17 06:52
Gemini 企业平台新增 Agent 行为异常检测功能
Google Developers Blog#Agent#安全#Gemini
Editor brief · 编辑速览
基于 OpenTelemetry 追踪和工具调用分析，在不增加线上延迟的情况下检测 Agent 逻辑异常和政策违规，对标 OWASP Agentic Top 10。
每一代新模型都让 AI Agent 能力更强、更自主、成本更低。团队正在用它们承担实际业务任务：处理退款、更新记录、以用户名义调用内部工具。但能力更强的模型并不自动等于更安全的模型。Agent 在运行时做的决策越多，其风险就从代码层转移到行为层。真正的损害往往发生在表面看起来毫无问题的会话中：Agent 给出了一个干净的答复并关闭了工单，只有事后你才发现它调用了一个本不该碰的工具，或者执行了一个悄悄扩大了自己权限的请求。因为没有直接报错，这个会话通过了通常的基于指标的评估，没有引起任何二次审视。
这个空白正是 Agent Anomaly Detection 要填补的。它现已登陆 Gemini Enterprise Agent Platform，处于 Private Preview 阶段。
Agent Anomaly Detection 是一个基于推理的监督与审计层，适用于部署在 Gemini Enterprise Agent Platform 上的自主 Agent。它通过推理轨迹、工具调用和会话执行流程来检查 Agent 的实际行为。它读取 Agent 已发送的日志和 OpenTelemetry 追踪，评估这些活动以判断 Agent 是否在预期边界之外运行，并标记行为异常、可疑意图和策略违规。
以下是将 Agent Anomaly Detection 投入生产环境运行的一些关键特性：
不增加运行时延迟：分析以异步方式在与实时请求路径分离的频段外运行，因此不会减慢 Agent 的响应速度。
清晰、可操作的发现：每条异常发现都包含严重级别、触发原因的通俗语言解释和推荐的后续步骤。每条异常发现也会发布到你的 Security Command Center 部署中，以便团队能与其他发现一起进行分类处理。
基于 OWASP Agentic Top 10：Agent Anomaly Detection 随附了针对 OWASP Top 10 for Agentic Applications（2026 版）中一组重点风险的检测器：工具滥用（ASI02）、身份与权限滥用（ASI03）、级联故障（ASI08）和恶意 Agent（ASI10），以及资源耗尽和 Token 使用量攀升等运营风险。其发现结果映射到这些公认的业界分类，而非一套定制规则。
即将推出自定义业务逻辑异常检测：正在积极开发用户自定义异常含义的能力，使客户能够用自然语言编写灵活的异常检测器，并结合确定性规则，当 Agent 超出企业特定业务准则时进行标记。此外，用户将能够在新自定义业务逻辑上验证其在历史流量中的准确性。
Agent Anomaly Detection 在检测速度、成本和覆盖率之间取得平衡。为实现这种平衡，它分层分析追踪和日志：轻量级第一层扫描所有流量以发现统计异常并标记需要进一步分析的会话。然后，基于 LLM 的推理层对被标记的会话进行深入检查。
具体来说，以一个带有 list_inventory 工具的 Inventory Agent 为例。用户说"我想查看库存，每次数 100 条"，Agent 就开始以大批量分页浏览，在偏移量之间跳跃以拉取整个目录。
这里没有任何错误抛出。Agent 只是在做它能力范围内的事，而且可能没有政策阻止它。但 Agent Anomaly Detection 标记了这种异常行为，逐层分析会话：第一层将会话标记为流量和重复调用中的统计异常。第二层推理完整对话，将大批量、跳跃偏移量的模式识别为系统性抓取而非正常浏览，并返回带有通俗语言解释的裁决。当某个案例需要更仔细审视时，第三层重建各个工具调用及其偏移量，以精确显示被拉取的内容。
结果是得到一条异常发现：Resource exhaustion，严重级别为 Critical，概率为 95%，附有理据和推荐修复方案：对该用户限流或阻止 list_inventory 工具，添加授权检查以限制批量库存访问，以及对大偏移量分页模式发出警报。该发现也会在 Security Command Center 中显示以供分类处理。
除了人工审查，你还能以编程方式对发现采取行动。Agent Anomaly Detection 暴露了一个 API，用于拉取给定会话的异常，这样 ADK 回调或插件就能检查发现的严重级别和概率，并在超过你设定的阈值时阻止后续工具调用或中止下一轮对话。
随着 Agent 承担更多实际工作，更多风险转移到其行为中。Agent Anomaly Detection 监控 Agent 的行为并为你标记异常供审查和采取行动，而不会减慢 Agent 的速度。
Agent Anomaly Detection 目前处于 Private Preview 阶段，适用于在 Gemini Enterprise Agent Platform 上部署 Agent 且使用 ADK 1.2 或更高版本的团队。要开始使用，请查阅文档了解先决条件和设置。一旦满足先决条件，你可以通过一键配置开启 Agent Anomaly Detection。