基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 12:41

用状态差异衡量智能体漂移

dev.to · AI#智能体#状态校验#长程任务
Editor brief · 编辑速览

作者以系统记录与真实状态之间的条目差异数衡量漂移。在一次连续修改服务拓扑的测试中,模型有 46 步出现偏差,宿主逐步校验后提交的状态在 4000 步中始终与真实状态一致。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

AI agent 连续执行任务时,危险的不只是某次答错,而是错误被写进系统状态,后面的操作继续沿用。作者用服务关系图做实验:Gemini 3.8 Flash 的单次回复正确率达到 98.85%,直接应用回复后,系统状态却只有约 21% 的步骤完全正确。

他们的解法是让宿主程序接管状态,模型只提议修改,每次提交前做校验、补全和原子提交。一次 4,000 步实验保持了零偏差。对正在做 AI 编程工具、自动操作流程的程序员,这组结果更有价值的地方,是解释了为什么「模型已经很准」仍然不够。

为什么答对 98.85%,状态却只对了 21%

作者把幻觉和漂移分开讨论:幻觉是一次错误回复,漂移是错误留下的后果。例如,第 40 步误删一条关系,系统接受了修改,后续操作便可能一直建立在错误状态上。

这里的漂移有明确指标:每一步统计系统保存的状态与真实状态有多少项不同,记为 distance。distance 为 0,才算完全正确。

在 Gemini 3.8 Flash 的一次实验中,模型连续处理 4,000 次请求,修改包含 17 至 22 个服务的关系图,共消耗 370 万 tokens。单次回复正确率是 98.85%,但错误留存时间达到 36 至 150 步。

为什么差距这么大?假设每次回复独立、正确概率固定为 p = 0.9885,连续 400 次不出错的概率只有 0.9885^400,约 1%;首次错误的期望位置约为第 87 步,即 1 / (1 − 0.9885)。

单步正确率衡量模型多常犯错,状态正确率还取决于错误多久才能消失。

这些概率计算依赖独立、固定概率的假设;21% 则是这次运行的观测结果。作者还报告,一个 7B 开源模型直接应用回复时,12 次实验全部出现状态损坏,但没有给出足以比较模型能力的详细数据。

为什么只拦截错误,还保不住状态

作者采用的 AXI,是 Rajnish Choubey 提出的 LLM agent 宿主侧运行时,不是 ARM AMBA AXI 芯片总线协议。

它把一次操作拆成五步:

  1. 模型用简短的固定格式提出一项修改。
  2. 宿主程序根据状态规则校验修改。
  3. 宿主程序补齐规则能够确定的关联操作。
  4. 整组修改全部提交,或全部不提交。
  5. 把精确状态重新展示给模型。

第三步很关键。删除一个服务时,它关联的边也需要删除。如果规则已经能确定这些后续动作,就由程序完成。

原文报告,只拒绝非法回复的方案能保持结构合法,但 400 步中只有 84 步状态完全正确;加入补全后,消除了那次运行中的全部 46 次错误。工程上对应的是校验、修复、原子提交,以及由宿主持有权威状态。

完整方案在 4,000 步中全部保持 distance 为 0。另一个 7B 开源模型实验分成 4 组,每组 20,000 步,共 80,000 步,也全部保持零偏差;运行环境是 vLLM 0.31.0、单张 NVIDIA L4,采用贪心解码,没有重试。

保留聊天记录也不能代替状态管理。另一组含歧义文本的 400 轮实验中,聊天方案有 398 次回复精确,作者称没有发生损坏,但第 191 轮的一次错误修改仍留存了 140 轮,直到第 330 轮。宿主持有状态的方案则是 400 次全部精确。原文没有进一步解释这里「没有损坏」与「修改错误」的判定区别。

我的判断

我认同把可执行规则放在宿主侧。对于实体、关系和约束明确的任务,让模型决定修改意图,让程序维护状态一致性,是合理的职责分配。

但「状态始终正确」有前提:宿主必须拥有足够可靠的规则和真实状态参照。服务图里的删除关联边容易确定,业务需求是否理解正确、页面是否符合用户意图,却不能仅靠结构校验解决。合法状态不等于正确完成用户任务。

这组证据也有边界。4,000 步数据来自一个模型、一个任务、一次采样运行,使用的是合成服务图;结论针对宿主持有的状态,不代表模型回复全部正确。它还不足以证明对一般 AI 编程任务同样有效。

原文的数字存在一处出入:正文说拒绝方案为 84/400,重放说明却写 85/400。重放还会打印 3,954/4,000 和 4.5 倍成本指标,但没有说清成本的比较对象与计算口径,不能据此判断投入产出。

能拿来做什么

  • 给维护结构化状态的 Node agent 增加宿主校验。让模型提交操作意图,由程序检查实体引用、补齐关联修改,并通过事务或等价机制整体提交。
  • 评估连续任务时,同时记录单步正确率、每步状态差异和错误留存步数。只看最终结果或回复成功率,容易漏掉中间长期存在的错误。
  • 用作者提供的命令重放保存的回复,检查运行时能否复现公布结果。它不需要 key 或 GPU,但验证的是已有回复上的处理逻辑,并未重新请求模型。
git clone https://github.com/gaurshalendra2412/axi-runtime
cd axi-runtime/python
python3 quickstart_replay.py

重点看最后一行:它运行的是重放脚本,输出会核对公布数字是否匹配。

Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
五个智能体把 Jira 需求推进到合并请求
下一篇
AXI 让宿主校验并原子提交模型变更

资讯速览

dev.to · AI · 2026-11-18 12:41

AI 评分 8.0 / 10

相关标签

#智能体#状态校验#长程任务

继续阅读

  • Claude Code 按需读取串口日志
  • 五个智能体把 Jira 需求推进到合并请求
  • AXI 让宿主校验并原子提交模型变更
  • 混元开放百万上下文模型 Hy4 flash
  • AI 自愈测试可能漏掉移动端界面缺陷