Diagrid 让失败的 Agent 能自动恢复执行
Catalyst 2.0 解决 AI agents 在生产环境的容错问题,支持失败后自动恢复。对 Agent 框架使用者有直接价值。
Catalyst 2.0 解决 AI agents 在生产环境的容错问题,支持失败后自动恢复。对 Agent 框架使用者有直接价值。
很高兴你来到这里。每周一至周五,你都将收到 TNS 最优质的内容,助你及时掌握新闻动态,始终保持最佳状态。
请检查收件箱中的确认邮件,你可以在邮件中调整偏好设置,甚至加入更多群组。
在你喜欢的社交媒体平台上关注 TNS。
在 LinkedIn 上关注 TNS。
在等待第一期 TNS newsletter 期间,不妨看看最新的精选文章和热门报道。
AI Agent 在演示中可以表现得令人惊艳,到了生产环境却仍可能马失前蹄。Diagrid 推出的 Catalyst 2.0,旨在让 Agent 更具韧性,同时使其操作具备可篡改检测能力,从而胜任高风险任务。
随着 Catalyst 2.0 的发布,Diagrid 于周二为使用 LangGraph、Microsoft Agent Framework、Google Agent Development Kit、OpenAI Agents SDK 及其他流行框架构建的 Agent,增加了持久化执行和证明层。
该公司指出,这里的目的并不是让开发者再采用一种新的 Agent 框架。相反,Catalyst 运行在现有框架之下,将 Agent 的模型调用、工具调用和任务交接转化为持久化工作流中的步骤。Diagrid 表示,这使 Agent 在执行被中断后,可以从上一个已经完成的步骤恢复,而不必从第一步开始重新运行整个流程。
“如果 Agent 收到一个 prompt,并决定调用 100 个工具来完成任务,结果在第 99 个工具处失败了,那么它确实应该从第 99 个工具重新开始。”Diagrid 联合创始人兼 CTO Yaron Schneider 告诉 The New Stack。
Catalyst 构建于开源项目 Distributed Application Runtime(Dapr)及其内置工作流引擎之上。Diagrid 团队此前在 Microsoft 工作期间参与了 Dapr 的构建。对于每一种受支持的 Agent 框架,Diagrid 都会提供一个 runner,用来拦截框架的执行循环,并将其中的操作注册为工作流活动。
“我们接入了这些框架的 Agent runner 生命周期,因此基本上能够获取正在实时执行的 Agent 步骤,并将其注册为 Catalyst 工作流引擎中的工作流步骤。”Schneider 表示。
以 LangGraph 应用为例,开发者可以像往常一样编译 graph,然后将其传给 Diagrid 的 DaprWorkflowGraphRunner。Catalyst 会记录模型调用和工具调用的输入与输出。发生崩溃后,Dapr 的工作流运行时便可以重新播放编排流程,同时直接返回已完成活动的存储结果,而不是再次执行这些活动。
值得注意的是,对于 LangGraph 用户来说,这并不是第一种持久化执行方案。LangGraph 自身的持久化层会在 superstep 边界保存状态,并支持从上一个成功完成的步骤恢复。它的 Agent Server 还提供持久化任务队列和持久化 checkpoint。
Diagrid 的观点是,Catalyst 可以在 10 多种框架中提供统一的执行模型,并将其延伸至单独的模型调用和工具调用,同时不要求开发者为每种框架分别构建恢复逻辑。Schneider 表示,LangGraph“毫无疑问、绝对是”Diagrid 客户最常使用的框架,AWS Strands 和 Microsoft Agent Framework 也经常出现。他说,其他受支持的框架都属于长尾,但支持起来足够容易,因此 Diagrid 为它们提供支持是合理的。
不过,Catalyst 2.0 还有另一部分能力,对许多企业用户而言可能同样重要。通过此次更新,该工具把 Dapr 1.18 中引入的工作流历史签名功能带到了受支持的 Agent 框架中。
“我们会维护一本类似账本或日记的记录。”Schneider 说,“我们记录输入、记录输出,也记录与哪些系统进行了通信。”
他将最终结果描述为一种不可变存储,但同时也指出,Catalyst 并不会把任意数据库变成区块链。它会创建一份带签名的历史记录,任何后续修改都应当能够被发现。
Dapr 会为一批批工作流历史事件计算 SHA-256 摘要,将每份摘要与前一个签名关联起来,再使用 Dapr sidecar 的 Secure Production Identity Framework for Everyone(SPIFFE)身份对结果进行签名。它会将这些签名和证书与工作流历史一起存储,并在每次加载工作流状态时验证这条链。如果有人修改、删除存储的事件,或者调整事件顺序,验证链就会断裂。
Schneider 表示,Catalyst 客户可以使用自己的证书,并保留加密后的历史记录,这样即使不再运行 Catalyst,也仍然能够检查这些记录。该平台可以使用客户选择的数据库,而 hash chain 则负责提供篡改证据。
Diagrid 将这种防篡改记录定位为适用于金融服务、医疗保健及其他受到监管的行业。CEO Mark Fussell 表示,在该公司接触过的一些金融行业高管看来,缺少可验证记录,是阻碍 Agent 部署到敏感工作流中的一大因素。
欧盟《AI Act》也是 Diagrid 选择在此时提出这一主张的另一个原因。《AI Act》第 12 条要求高风险 AI 系统支持自动事件日志记录,以便运营方追踪系统行为、识别风险并监控已经部署的系统,而带签名的执行历史可以帮助满足这一要求。
Fussell 表示,Catalyst 旨在与企业已经采用的云提供商 Agent 服务配合运行。团队可以继续使用提供商的身份认证、评估和可观测性系统,同时借助 Catalyst 实现恢复和工作流历史签名。Catalyst 既可以作为由 Diagrid 托管的服务运行,也可以部署在客户自己的环境中,包括 air-gapped 部署。
Diagrid 并未公布这一新版本的定价。