AXI 让宿主校验并原子提交模型变更
AXI 逐条校验模型提出的变更,按规则补全后原子提交,再将准确状态回传给模型。作者报告,两轮测试分别在 4000 步和 8 万步中保持状态正确,另一次 400 轮测试中保留聊天历史的总 token 用量约为对照方案的 76 倍。
AI 深度解读
模型有 98.85% 的回复正确,宿主直接应用这些回复后,状态却只有约 21% 的步骤完全正确。作者用这组数字说明,评估一个会持续改状态的 AI Agent,得看每次改完后系统里实际存了什么。
AXI 把规则校验、补全和提交放在宿主侧,让模型逐次提议修改。对接 AI 编程工具或内部 Agent 时,这篇最值得借鉴的地方是如何划分写入权限,以及怎样把状态错误测出来。
为什么回复正确率高,状态还是会漂移
单次回复正确率只评估这一步的输出。状态误差衡量的是每一步执行完后,宿主保存的状态与参考真值相差多少。距离为 0,才算这一步的状态完全正确。
假设模型在服务依赖图里写错了一条边,后面几步都正确更新了别的服务,那条错边还是会留在图里,直到有操作覆盖它。因此,同一次错误可以拖累后续多个步骤的状态。作者报告的 98.85% 和约 21%,衡量的正是这两个不同的结果。
AXI 把哪些决定交给宿主
模型每次提出一项改动。AXI 按规则检查提案,把规则能够确定的部分补齐,再把整组变更作为一次原子提交,要么全部生效,要么全部撤销。之后,宿主把实际保存的状态交回模型,供下一步使用。模型本身沿用原样。
这套设计把模型擅长的提议和宿主能确定的操作接了起来。比如,若服务图的规则规定删除节点时必须清理关联边,宿主就能在同一次提交里完成两项写入。单靠原子提交只能保证整组操作一起生效,提案合不合业务规则仍要靠写入前的校验。
这些数字是怎么测出来的
Rajnish Choubey 设计架构,Shalendra Gaur 编写并运行测试。项目列出了 10 项开放模型测试,覆盖合成服务图和 4 个小型合成环境。开放模型运行使用 vLLM 0.31.0,在单张 NVIDIA L4 上做贪心解码,每一步选得分最高的 token,失败也不重试。团队在运行前写好测试的判读标准和预测,运行后追加结果,结论为 NO 的也照样保留。
下面三条命令可以回放已经保存的 4,000 次请求,无需 API 密钥或 GPU。
git clone https://github.com/gaurshalendra2412/axi-runtime
cd axi-runtime/python
python3 quickstart_replay.py
第三行读取已保存的回复,输出 4,000 of 4,000、3,954 of 4,000、85 of 400 和 4.5 times。其中 3,954 of 4,000 对应 98.85%,85 of 400 约为 21%。原文这段没有交代 4.5 times 比较的具体指标,不能据此推断成本或速度收益。
我的判断
这组实测最有说服力的是逐步对照参考真值。它能分辨一次写错和一次错误持续影响了多少步。测试对象是合成服务图和小型合成环境,落到一般团队,能否取得类似效果取决于业务规则能写清多少,以及多处写入能否纳入同一提交边界。
让模型自检或重试,主要是在提高单次提案的通过率。AXI 则把可判定的规则直接放到写入路径上。普通服务端校验加数据库事务也能承担这部分工作,AXI 给出了把校验、规则补全、提交和状态回读串进 Agent 循环的参考原型。原文没有给出与提示词自检、重试或常规事务实现的直接对照,把它们放在一起比较仍是工程判断。
能拿来做什么
- 如果 AI 工具会反复修改服务依赖图或结构化配置,先定义一组带参考结果的操作序列,每次提交后都比较状态,同时记录单次提案的正确率。
- 在 Node 工具执行层把模型输出当成待校验的提案。把引用是否存在、关联项如何补齐这类能明确判断的规则写进宿主代码,再提交整组改动。
- 给 Agent 的下一轮输入带上提交后重新读取的状态。遇到拒绝时,返回具体的校验失败原因和当前状态,让下一次提案有准确的起点。