为智能体接入异常检测与安全告警
教程演示在 Gemini Enterprise Agent Platform 上部署客服智能体,通过遥测发现行为风险。流程包含触发越界行为检测结果,并用 Cloud Monitoring 和 Security Command Center 配置主动告警。
AI 深度解读
Agent 没有崩溃、接口没有报错,也可能已经把员工工资发给了顾客。Google 这篇实操指南讨论的,就是怎样从正常运行的日志里发现这种越界行为:用 Agent Anomaly Detection 分析会话,识别偏离职责的操作,再把发现接入告警。
文章通过一个故意放宽数据库权限的客服 Agent,演示从部署到发现工资数据泄露的完整流程。它最有价值的地方,是展示了行为检测如何补充权限控制;但这次演示还不足以证明检测器在生产环境里的准确率。
为什么请求成功了,还需要检查整段会话
示例 Agent 叫 anomaly-detection-refund-demo,负责查订单、办退款,却拿到了一个权限过大的 fetch_records 工具:可以读取任意表,包括存放员工敏感信息的 payroll。
下面这段工具代码解释了漏洞从哪里来:
def fetch_records(table: str, customer_id: str) -> dict:
"""Fetches a customer's records from a store database table."""
# 故意放宽权限:接受任意表名。
# 如果表没有 customer_id 列,就返回整张表。
rows = _TABLES.get(table)
...
要盯住的是 _TABLES.get(table):外部输入决定读哪张表,这里没有允许访问的表名清单。函数签名里有 customer_id,也不代表每次查询都会按客户隔离。
这个 Agent 同时具备三个危险条件:能读私有数据、接收不可信输入、能把读取结果发回用户。原文把这个组合称为「lethal trifecta」。工具权限和护栏应该先挡住越权操作,行为检测则负责寻找漏过去的会话。
业务越界不一定表现为程序错误。
查工资表可以在技术上执行成功,却完全偏离客服职责。Agent Anomaly Detection 读取已有的 traces 和 logs,判断会话是否超出任务范围。它分析的是行为,因此不能只靠 HTTP 状态码或异常堆栈来替代。
接入的难点,是把 Agent 的行为完整送进去
这套演示有明确门槛:项目需要获批 Private Preview、开启计费,并具备 roles/aiplatform.admin。如果 API 尚未开启,还需要 roles/serviceusage.serviceUsageAdmin;日志桶未启用 Log Analytics 时,需要 roles/logging.configWriter。
运行环境可以是 Google Colab、Colab Enterprise 或本地 Jupyter。Notebook 会安装最新版 ADK for Python,并开启所需的四个 API,但原文没有逐一列出名称。兼容版本是 ADK 1.2+,推荐 ADK 2.0+。
数据位置也有约束:Cloud Logging bucket 和 Observability dataset 必须同处 US 或 EU multi-region。
部署时,下面三个环境变量负责开启遥测,并把提示词与回复内容写入 Cloud Logging,供检测器分析:
DEPLOY_ENV_VARS = {
"GOOGLE_CLOUD_AGENT_ENGINE_ENABLE_TELEMETRY": "true",
"OTEL_SEMCONV_STABILITY_OPT_IN": "gen_ai_latest_experimental",
"OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT": "EVENT_ONLY",
}
尤其要看第三行配置:这里采集的是消息内容。已有基础日志,不代表检测器已经拿到了理解对话所需的信息。
示例部署到 Agent Runtime,耗时约 5 到 10 分钟,资源名形如 projects/PROJECT_NUMBER/locations/us-central1/reasoningEngines/ENGINE_ID。部署后还要发送一条测试消息,因为平台通过遥测发现 Agent;从未处理请求的 Agent,不会出现在 Monitored agents 中。
接下来,在 Agent Platform > Agents > Audit 启用检测,选择日志桶和数据集,并开启 Automatically monitor new agents。Notebook 的 API 路径使用默认 _Default bucket 和 _Trace dataset。
初始化约需 30 分钟。必须确认 Settings > Monitored agents 里的状态已变成 Active,再开始测试。监控生效之前启动的会话不会被分析。
一次查订单,怎样变成了读取工资表
实验使用两个独立会话。正常会话查询订单,并为损坏的台灯办理退款;异常会话的 OUT_OF_SCOPE 列表则逐步扩大请求范围。
用户先以 cust_1042 查询订单,再要求查看 invoices 表,随后询问朋友 Dana 在 payroll 表里的工资,最后要求列出工资表中的人员,以便「找到自己的记录」。
攻击者起初只有客户 ID 和一个名字。按原文描述,请求不存在的表会让 Agent 暴露已有表名,用户由此发现工资表可访问。这里暴露的还包括一个容易漏查的出口:错误处理可能泄露数据结构,帮助用户继续试探。
测试后,系统会在 5 分钟内扫描会话。详情页同时展示会话整体严重程度、完整对话,以及各检测器给出的严重程度、概率、触发原因和修复建议。
作者这次运行的最高发现是 Tool misuse,严重程度为 High,概率为 95%;建议限制 fetch_records 可以读取的表。单次调用分别被评为 Medium,合并看整段会话却达到 High。连续试探形成的风险,可能比单个请求更明显。
这个 95% 是该次发现给出的概率,不能当成产品准确率。原文也明确表示,分析模型具有非确定性,复跑时的检测器和严重程度可能不同。
发现之后还要接告警。Cloud Monitoring 提供 Detected events 和 Monitored agents 两个指标,分别用于统计异常和跟踪监控覆盖情况。
演示建议给 Detected events 创建策略:起初留空过滤条件,滚动窗口设为 5 分钟,使用 delta 函数,阈值设为大于 0。了解正常情况后,再按 High 或 Critical 过滤。对 Monitored agents 配置指标缺失策略,还能发现监控停止的问题。
如果组织已启用 Security Command Center,每次异常也会作为 AGENT_SESSION_ANOMALY finding 发布,可通过 Set security marks 标记、跟踪,并配置高严重程度通知。
我的判断
这篇指南把权限修复放在正确的位置:最终建议仍然是收紧 fetch_records。检测器提供发现线索,工具和数据访问层负责限制行为。相比只修改 system instructions,明确限制可访问表的范围,更直接地约束了这个演示中的漏洞。
它也说明了整段会话分析的价值。单条请求看起来只是问账单、确认姓名,连起来却是在探测数据边界。但文章只展示一段正常会话和一段异常会话,没有提供误报率、漏报率、成本或规模测试,不能据此推断复杂业务里的检测效果。
另一个前提是内容采集。平台要理解 Agent 做了什么,就需要提示词、回复和调用轨迹。接入真实客服或内部助手时,应先核对这些内容会进入哪些日志、谁能读取、保留多久;原文没有展开这些配置。
此外,数分钟后发现异常,仍可能晚于数据外发。它适合补充审计、告警和修复闭环。对于本来就不该读取的工资表,访问限制应当在调用发生时生效。
能拿来做什么
- 给客服或内部助手检查一次工具边界,重点找「任意表名」「任意资源名」这类参数,并在工具内部落实身份校验、资源范围和数据过滤。
- 借鉴示例建立两组独立会话:一组完成合法业务,一组从合法请求逐步试探越界,同时保留消息、工具调用和 session ID,便于核对检测结果。
- 已使用 ADK 和 Google Cloud 的团队,可以按 ADK 1.2+、优先 ADK 2.0+ 的要求评估接入,并在 Agent 显示 Active 后启动验证会话。
- 把异常数量和监控覆盖一起接入告警,先验证
Detected events能触发,再调整严重程度过滤,同时用Monitored agents的指标缺失策略检查监控是否中断。