Anthropic在伦敦AI开发者大会上展示Agent梦境推理技术,引发开发者对其实际工程价值的讨论。
今年夏天在伦敦举行的 AI DevCon 大会上,Anthropic 技术组成员 Lamis Mukta 主持了一场主题演讲,题目是"睡眠中学习,从记忆到梦境"。
Mukta 试图探讨的是,在当前世界中最前沿的记忆管理处于什么位置——她指出,"上下文往往与手头模型的智能正交"。
"我们刚刚发布的最新模型,并不会开箱即用地知道在你的组织中成功的要素是什么,也不知道你想要它完成哪些任务,"Mukta 说。"这就好像 Agent(起初)不熟悉代码库,也不了解你的用户偏好。"
要让 Agent 服务走向正确的方向,系统显然需要访问记忆来构建上下文窗口。
Anthropic 记忆管理简史
Mukta 概述了 Anthropic 记忆管理的发展历程,她说传统做法是利用 CLAUDE.md,这是一个文件,Claude 在每次对话开始时都会读取(包括 Bash 命令、代码风格和工作流规则),以赋予 Claude 无法从代码本身推断的持久上下文。
这种技术在一定程度上是有效的,但随着时间推移会变得难以管理,尤其是当一个包含重要偏好的文件变得非常非常长的时候。
"所以我们研究的第二条路径是记忆工具,这很有趣,因为它引入了一个理念:如果我们让 Agent 自主管理自己的记忆系统,会发生什么?我们让它们自己决定何时读取、何时写入、何时更新记忆。"Mukta 解释道。
这个过程是在带内进行的,即在会话的上下文中。当与所谓的渐进式披露相结合时,Agent 只需查看第 1 层的轻量元数据,然后在第 2 层和第 3 层才获取完整内容和原始源文件,这样系统就不会使模型的上下文过载。
"我喜欢这样理解:就好像我的房间里有书架,每次有人和我说话,我都能扫描并查看我的书目清单,看看是否有任何书名可能与对话相关,然后在那需要时从书架上取下并阅读。"Mukta 解释道。
但这里的瓶颈在于,我们仍然是由人类和 Agent 共同驱动的——也就是说,我们仍然对哪些事物需要技能相当固执己见。另一个问题是,记忆可能会变得陈旧,与组织的需求不再相关。再考虑到记忆文件可能被错误地写入,甚至被恶意注入,你就能理解为什么需要大量的护栏机制。
"我们引入了梦境的概念,这是一项异步批处理进程,拥有独立分配的资源,以确保记忆本身有效、保持最新,[并且]帮助 Agent 随着时间学习。"
梦境整合记忆并削减无关内容
"所以我们引入了梦境的概念,这是一项异步批处理进程,拥有独立分配的资源,以确保记忆本身有效、保持最新,[并且]帮助 Agent 随着时间学习。"Mukta 解释道。"[这个过程让我们能够]整合记忆,删除不再相关的内容,添加 Agent 缺失的内容,清理和组织记忆系统。"
在 Anthropic 的睡眠世界中,梦境是一种带外异步过程,该公司称这解决了带内限制——在带内限制中,Agent 必须在完成任务和执行任务的同时,还要为未来的自己同时整理记忆。梦境会发现 Agent 持续失败的重复失败模式(单位错误、主题遗漏、工具配置损坏、风格习惯如过度使用破折号),并提出记忆存储更新建议,同样需要人工审核,但希望在更高效的层面进行。
这种架构支撑着 Anthropic Managed Agents 在这一级别的记忆和 API 方法,那么这家前沿模型公司是否已经赢得了开发者的青睐?
糟糕的记忆可以比会话活得更久
Staff software engineer、云架构师兼 AI Agent 系统独立研究员 Jayakumar Ramalingam 告诉 The New Stack,"梦境有用,但它也创造了一条危险的晋升路径"——即从反复错误到持久策略的路径。
"一个糟糕的答案通常会随会话一起消亡;一个糟糕的记忆可以影响成千上万个未来的会话。人工审核听起来令人安心,但在舰队规模下,它很容易变成没人有时间重建的建议的橡皮图章。"Ramalingam 说。
"整个行业花了太多时间把记忆当作上下文窗口问题来对待,而它实际上是一个状态管理问题。"
他坚持认为,每个被提议的记忆都应该"携带来源、证据和失效条件",而不是仅仅作为一个重复得足够频繁而看起来真实的模式存在。否则,他认为梦境可能帮助 Agent 记住更多,同时却让组织忘记为什么这个记忆是可信的。
"Anthropic 做对了一件重要的事:它的 Agent 记忆应该更像版本控制的基础设施,而不是人工认知。整个行业花了太多时间把记忆当作上下文窗口问题来对待,而它实际上是一个状态管理问题。"Ramalingam 强调道。
他的观点是——如果一个 Agent 不能展示谁更改了记忆、为什么更改以及如何回滚,它就没有生产级记忆,因此它就变成了一个附加了 AI 的未经审计的配置文件。
梦境是正确的本能,但瞄准了错误的证据
Enterprise AI 架构师兼 Besk Tech 创始人 Vladimir Beskorovainyi 告诉 The New Stack,"梦境是正确的本能,但瞄准了错误的证据",因为它捕获的失败(单位错误、工具配置损坏、过多破折号等)都在转录文本的表面可见。
"真正让你付出代价的失败是 Agent 为了一个在当时看起来完全合理的原因而使用了错误的工具。"Beskorovainyi 说。"在我在生产环境中运行的系统中,日志记录的是决策而不是 API 调用,而这正是像这样的审核过程能够找到值得发现的东西的唯一原因。"
"当'最近'因素悄然成为真的时候。这让我们处于这样一个点:版本控制告诉我们什么改变了以及何时改变的,而不是什么是正确的。"
他指出,他称之为"Agent 决策之下更糟糕的问题"——如果更新是从最近的批次中提出的,记忆存储就会向最近 Agent 舰队碰巧做的事情漂移,这样"最近"因素就悄然成为真了。这让我们处于这样一个点:版本控制告诉我们什么改变了以及何时改变的,而不是什么是正确的。
"整个行业花了两年时间坚持认为记忆意味着嵌入向量,而 Anthropic 用文件系统和 grep [一个在文件中搜索模式的 Linux 命令] 解决了这个问题,这是整个讨论中最有趣的决定。"Beskorovainyi 坚持道。
他说这很重要的原因是可读性。一个开发者可以打开和阅读的记忆存储是一个工程师可以审计的记忆存储,他坚持认为"没有任何向量数据库提供过这种能力",而架构中的其他一切(版本控制、哈希、分层权限)都是我们几十年来已知如何做的普通分布式系统工程。
梦境是聪明的部分,但也是令人担忧的部分
自主 AI 渗透测试公司 Penetrify 创始人 Viktor Bulanek 告诉 The New Stack,当整个行业花了两年时间确信 Agent 记忆是一个向量数据库问题,而 Anthropic 推出了 grep,这是一个有用的事情。
"就 Anthropic 做对的事情而言……一个你可以 cat、diff 和代码审查的记忆存储是一个你真正可以操作的记忆存储,而没有人曾经成功调试过一个悄悄地将错误块排在第三位的嵌入。"Bulanek 说。
"Anthropic 的梦境方法是聪明的部分,也是最让我担忧的部分,因为它将一个自动化写入器指向会话转录本,而转录本充满了 Agent 并非作者的内容。"
他认为,版本控制在这里比审计追踪框架所暗示的更重要,并提醒我们"回滚不是合规功能";它是软件工程师在记忆被写入三周后发现其中有毒时的撤销按钮,这是每个严肃的 Agent 部署最终都会遇到的事件。
"但要在这里补充一下,Anthropic 的梦境方法是聪明的部分,也是最让我担忧的部分,因为它将一个自动化写入器指向会话转录本,而转录本充满了 Agent 并非作者的内容。"Bulanek 警告道。
"Anthropic 正确地认为人工审核是答案,但一旦建议大部分是好的,大量审查提议的 diffs 是控制衰减最快的。其他差距是,这个架构中没有任何东西说明存储的事实何时停止为真。版本控制告诉你什么改变了,它不告诉你什么腐烂了,而关于上个月重构的系统的自信笔记比没有记忆更糟糕。"他建议道。
Bulanek 的工作让他在生产环境中运行自主 Agent,执行渗透测试,并使用真实凭证针对实时系统运行数小时无人监督,因此记忆对他的团队来说既是运营成本也是安全边界。
Anthropic 的做事方式有一种令人喜爱的缺乏花哨的感觉
Noah Labs 联合创始人兼 CTO Berk Yilmaz 告诉 The New Stack,在他看来,Anthropic 的做事方式"有一种令人喜爱的缺乏花哨的感觉"。
"每个人都希望记忆感觉像是机器智能的最新体现,他们的宣传大致是这样的:给它一个文件系统、版本控制、可搜索性,不要让一千个进程互相践踏。"Yilmaz 说。"这更接近生产级 AI 应该如何做的。虽然我们花了很长时间改进模型,但支持基础设施没有跟上,以令人难以置信的平淡工程方式失败了。"
Yilmaz 所在的公司为政府和受监管系统开发 AI 原生 IDE,专为空隔离环境和遗留代码库构建。他提醒我们,一旦关于哪些过去行为应该成为未来行为的记忆决策被做出,记忆本身就不再是惰性的。
"一个幻觉在单个会话后消亡只是一个麻烦,但一个在数千个会话后仍然存在的幻觉就是基础设施。安全方面也是如此;如果攻击成功写入记忆,它就变得持久了。来源变得绝对关键——系统是如何被教导的,它从哪里学到的,谁认证的,我可以撤销吗?在企业 AI 中,有时候遗忘是一种安全措施。"Yilmaz 补充道。
一个实用主义者会记得 Anthropic 为使用量付费,而不是为效率
AI、产品与数据科学负责人兼前 Meta 员工 Kerstin Frailey 告诉 The New Stack,乍一看,梦境(就她而言)"肯定有潜力引爆 AI 账单"。
"一个愤世嫉俗者会说这旨在填补 Anthropic IPO 前 tokenmaxxing 留下的收入漏洞。"Frailey 说。"一个乐观主义者会希望看到一个漂亮的节俭设计。一个实用主义者会记得 Anthropic 为使用量付费,而不是为效率。一个熟练的从业者会运行增量试点,积极监控成本,并定期测试可衡量的改进。"
"作为一个不错的额外好处,梦境也提供了潜在的系统改进。但它的熟悉前身——垃圾回收和存储压缩——相对来说是确定性的和受控的。"
她继续指出,梦境提供清理和整合,她将其定义为任何不断生成新文件的系统的"合理发展"。
"作为一个不错的额外好处,它也提供了潜在的系统改进。但它的熟悉前身——垃圾回收和存储压缩——相对来说是确定性的和受控的。与其同名或那些类比不同,梦境看起来既不便宜也不高效:让一个 AI 做一次工作,然后让 AI 定期审查、修改和重组它。"她补充道。
作为 Anthropic Managed Agents 记忆和 API 方法一部分的梦境并非独有。AI 模型做梦的概念(或者如果我们正式地说,是自动带外后台记忆整合)也正在被 OpenAI 为 ChatGPT、有状态的 Agent 编码平台 Letta 以及其他地方所推广。
这里的底线可能是这样的认识:至少在 AI 建模方面,记忆实际上就是维护。