用状态差异衡量智能体漂移
作者以系统记录与真实状态之间的条目差异数衡量漂移。在一次连续修改服务拓扑的测试中,模型有 46 步出现偏差,宿主逐步校验后提交的状态在 4000 步中始终与真实状态一致。
AI 深度解读
AI agent 连续执行任务时,危险的不只是某次答错,而是错误被写进系统状态,后面的操作继续沿用。作者用服务关系图做实验:Gemini 3.8 Flash 的单次回复正确率达到 98.85%,直接应用回复后,系统状态却只有约 21% 的步骤完全正确。
他们的解法是让宿主程序接管状态,模型只提议修改,每次提交前做校验、补全和原子提交。一次 4,000 步实验保持了零偏差。对正在做 AI 编程工具、自动操作流程的程序员,这组结果更有价值的地方,是解释了为什么「模型已经很准」仍然不够。
为什么答对 98.85%,状态却只对了 21%
作者把幻觉和漂移分开讨论:幻觉是一次错误回复,漂移是错误留下的后果。例如,第 40 步误删一条关系,系统接受了修改,后续操作便可能一直建立在错误状态上。
这里的漂移有明确指标:每一步统计系统保存的状态与真实状态有多少项不同,记为 distance。distance 为 0,才算完全正确。
在 Gemini 3.8 Flash 的一次实验中,模型连续处理 4,000 次请求,修改包含 17 至 22 个服务的关系图,共消耗 370 万 tokens。单次回复正确率是 98.85%,但错误留存时间达到 36 至 150 步。
为什么差距这么大?假设每次回复独立、正确概率固定为 p = 0.9885,连续 400 次不出错的概率只有 0.9885^400,约 1%;首次错误的期望位置约为第 87 步,即 1 / (1 − 0.9885)。
单步正确率衡量模型多常犯错,状态正确率还取决于错误多久才能消失。
这些概率计算依赖独立、固定概率的假设;21% 则是这次运行的观测结果。作者还报告,一个 7B 开源模型直接应用回复时,12 次实验全部出现状态损坏,但没有给出足以比较模型能力的详细数据。
为什么只拦截错误,还保不住状态
作者采用的 AXI,是 Rajnish Choubey 提出的 LLM agent 宿主侧运行时,不是 ARM AMBA AXI 芯片总线协议。
它把一次操作拆成五步:
- 模型用简短的固定格式提出一项修改。
- 宿主程序根据状态规则校验修改。
- 宿主程序补齐规则能够确定的关联操作。
- 整组修改全部提交,或全部不提交。
- 把精确状态重新展示给模型。
第三步很关键。删除一个服务时,它关联的边也需要删除。如果规则已经能确定这些后续动作,就由程序完成。
原文报告,只拒绝非法回复的方案能保持结构合法,但 400 步中只有 84 步状态完全正确;加入补全后,消除了那次运行中的全部 46 次错误。工程上对应的是校验、修复、原子提交,以及由宿主持有权威状态。
完整方案在 4,000 步中全部保持 distance 为 0。另一个 7B 开源模型实验分成 4 组,每组 20,000 步,共 80,000 步,也全部保持零偏差;运行环境是 vLLM 0.31.0、单张 NVIDIA L4,采用贪心解码,没有重试。
保留聊天记录也不能代替状态管理。另一组含歧义文本的 400 轮实验中,聊天方案有 398 次回复精确,作者称没有发生损坏,但第 191 轮的一次错误修改仍留存了 140 轮,直到第 330 轮。宿主持有状态的方案则是 400 次全部精确。原文没有进一步解释这里「没有损坏」与「修改错误」的判定区别。
我的判断
我认同把可执行规则放在宿主侧。对于实体、关系和约束明确的任务,让模型决定修改意图,让程序维护状态一致性,是合理的职责分配。
但「状态始终正确」有前提:宿主必须拥有足够可靠的规则和真实状态参照。服务图里的删除关联边容易确定,业务需求是否理解正确、页面是否符合用户意图,却不能仅靠结构校验解决。合法状态不等于正确完成用户任务。
这组证据也有边界。4,000 步数据来自一个模型、一个任务、一次采样运行,使用的是合成服务图;结论针对宿主持有的状态,不代表模型回复全部正确。它还不足以证明对一般 AI 编程任务同样有效。
原文的数字存在一处出入:正文说拒绝方案为 84/400,重放说明却写 85/400。重放还会打印 3,954/4,000 和 4.5 倍成本指标,但没有说清成本的比较对象与计算口径,不能据此判断投入产出。
能拿来做什么
- 给维护结构化状态的 Node agent 增加宿主校验。让模型提交操作意图,由程序检查实体引用、补齐关联修改,并通过事务或等价机制整体提交。
- 评估连续任务时,同时记录单步正确率、每步状态差异和错误留存步数。只看最终结果或回复成功率,容易漏掉中间长期存在的错误。
- 用作者提供的命令重放保存的回复,检查运行时能否复现公布结果。它不需要 key 或 GPU,但验证的是已有回复上的处理逻辑,并未重新请求模型。
git clone https://github.com/gaurshalendra2412/axi-runtime
cd axi-runtime/python
python3 quickstart_replay.py
重点看最后一行:它运行的是重放脚本,输出会核对公布数字是否匹配。