企业部署多个 AI 代理后,系统复杂度随代理间调用路径指数增长,监管和治理成为盲区。
Gravitee 呈现
代理复杂性正是潜伏在企业内部的一道阴影,现在亟需被照亮。
这是因为企业不是部署一个代理然后看着它跑,而是部署一整个舰队,每个代理都在调用 API、调用其他代理、伸入那些从未考虑过机器决策者的应用程序。这就是那种让人夜不能寐的失败模式:一个错综复杂的系统,没有人能看清它的全貌来进行治理。但为什么事情会这么快就变得如此不透明?
在一个系统中添加第二个代理,你就添加了一个连接。添加第十个,你添加的不是十个连接,而是可能几十个,因为现在任何代理都可能调用任何其他代理,而这些调用中的每一个都可能触发另一个地方的调用。复杂性并不是随着代理数量的增加而缓慢上升的。它随着代理之间路径的数量而复合增长,而且没有人的工作是去画出那张图。一张曾经只接触一个系统的支持工单,现在可能在人类看到它之前就已经通过了四个代理,而这些交接点中的每一个都是一个未经任何人批准的决策点。
大多数企业 AI 项目在负责代理的人员失去线索时就会停滞不前。向安全团队问一个简单的问题:哪些代理可以访问哪些系统,看看那阵沉默。再问三跳之前哪个代理触发了哪个下游行动,又是更多的沉默。
直觉是把这些当作清单来对待。批准这个代理。记录这个代理。继续。但我认为这种直觉是错误的。清单检查的是某个时间点的单点。复杂性跨越整条链运行,你不能用一堆一次性审批来治理一条链,就像你不能因为吃过一次蔬菜就说减肥成功一样。
那么它实际上是在哪里出问题的呢?
首先,权限会悄然蔓延。有人构建了一个代理来总结支持工单,授予它广泛的 API 访问权限,因为正确地给它划定范围需要多花一个冲刺周期,然后就把这事忘了。六个月后,这个代理有了一条进入支付系统的路径。没有人记得批准过这个。没有人真正批准过。
而所有权在链延伸得越远时就越稀薄。五个代理触及一个工作流,某个环节在第四步出现问题,现在你得问谁对一个从未被分配拥有的环节负责,因为组织架构在"部署这个代理"处就停止了,从来没有延伸到"指定为此负责的人"。
这是一个关于治理基础设施的故事,这些基础设施还没有赶上代理的实际行为方式:互联的、级联的、比用来跟踪它们的流程增长得更快。
修复这个集群从身份开始。每个代理都需要作为自己的实体存在,而不是借助于部署它的人的影子权限。在注册表中拥有自己的名字。自己的有限授权。一名负责任的人类发起人,为其行为负责。这一部分是必要的。
但这远远不够。
更困难的是对整条链的监督,而不仅仅是链上每个单独的环节。你需要看到代理做了什么,它在下游触发了什么,以及那条痕迹在哪里实时终结,而不是在某个季度才拉一次的报告中。正确地建立了代理级身份就停下来,最终你只能得到一柜子完美归档的代理,而它们所在的系统却没有人能真正解释。
仅靠监督只能告诉你已经发生了什么。看守一条链并不等同于控制它。执行才是大多数项目跳过的那部分:在越界调用执行之前就阻止它的能力,而不是等三周后在审查中才发现并记录。一个仪表板显示某个代理五分钟前突破了其范围——这是一个监控工具。一个从一开始就阻止突破发生的系统——这才是治理。认真对待代理问责的企业两者都需要,而大多数企业只建了第一个。
我们都在以极快的速度奔跑,确保自己不会在这场竞赛中被落下,而我们都知道放慢脚步是有代价的。所有认真对待代理式 AI 的企业最终都会撞上复杂性的墙。那些越过它的企业,是那些建立了足够可见性和问责制的企业,所以他们的舰队可以继续增长,而不会有人失去回答一个问题的能力:这个系统现在在做什么,谁为此负责。
但不要忽略重点。复杂性不是踩刹车的理由。那些正确处理这件事的企业没有放慢脚步。他们正在走向人类与代理的和谐,在那里规模和问责一起增长,而不是相互牺牲。
真正的风险从来不是一个代理做它被设计要做的事。是一百个代理同时做它们被设计要做的事,以没有人预料到的组合方式相互作用。这种乘法效应才是让企业 AI 永远停留在试点而不是投入生产的原因。
解决了复杂性,自主性就不再是反派。它成为了整个问题的关键。
Rory Blundell 是 Gravitee 首席执行官。
赞助文章是由付费或与 VentureBeat 有业务关系的公司制作的内容,它们总是被明确标记。如需更多信息,请联系 sales@venturebeat.com。