AI Agent 故障隔离实战： blast radius 与三级 kill switch 设计

原文摘要说明

本文来自 AI Tech Connect，主要讨论 AI Agent 的安全保障机制。

---

正文翻译

Originally published on AI Tech Connect.

你需要了解的是：频率和严重性是相互独立的。 提升可靠性不等于限制危害，而降低危害也不等同于提升准确性。两方面都需要投入资源。对每个操作按两个维度进行分类——可逆性和触及范围。两者的缓解措施各不相同，所以用一个单一的风险分数会丢失你真正需要的信息。

爆炸半径由四个因素决定：身份、凭证、网络可达性和数据范围。 这四者都是配置问题，而非模型行为。

你需要三个 kill switch，而不是一个——暂停（pause）、撤销（revoke）、隔离（quarantine）。一个停止按钮通常只实现了暂停。

延迟和错误率是糟糕的 agent 熔断信号。 一个自信地给出错误答案的 agent 速度很快，而且不会抛出任何异常。

未经测试的控制措施是无效的。 运行一次 game day，记录每个控制措施的响应时间，并把这个数字写下来。

---

核心要点详解

频率与严重性相互独立

Reliability 工作不能限制 Harm，Harm 降低工作也不能提升 Accuracy。需要分别为这两个维度分配资源。

行动分类：可逆性 × 触及范围

对每个 action 从两个维度进行分类：

维度	说明
可逆性（Reversibility）	操作是否可以撤回或修复
触及范围（Reach）	操作的影响范围有多大

不同的组合需要不同的缓解措施，单一风险分数会丢失关键信息。

爆炸半径的四个决定因素

1. 身份（Identity） — agent 以谁的身份行事
2. 凭证（Credentials） — agent 持有哪些权限
3. 网络可达性（Network Reachability） — agent 能访问哪些网络资源
4. 数据范围（Data Scope） — agent 能访问哪些数据

这四者都是配置问题，而非模型行为本身。

三个 Kill Switch

一个停止按钮通常只实现了暂停（pause）。你需要完整的三个：

Kill Switch	作用
Pause	暂停 agent 操作，可恢复
Revoke	撤销凭证，切断访问权限
Quarantine	隔离 agent，限制其影响范围

Agent 的熔断信号

延迟和错误率是糟糕的信号。 一个自信地给出错误答案的 agent 速度很快，而且不会抛出任何异常。这意味着传统的基于延迟/错误的熔断机制对 agent 不适用。

测试的重要性

未经测试的控制措施在真正需要时不会起作用。 必须运行 game day 演练，测量每个控制措施的响应时间，并将数字记录下来。

---

Why this is…

Read the full article on AI Tech Connect →

For further actions, you may consider blocking this person and/or reporting abuse

We're a place where coders share, stay up-to-date and grow their careers.