小模型修改服务图:校验加修复显著减少错误
作者用 Qwen2.5-7B-Instruct 连续修改服务图,直接执行模型提案时,12 轮实验全部出现状态损坏。加入校验与修复后,360 步中有 358 步状态完全正确;仅拒绝错误提案虽能避免损坏,却会积累未完成的修改。
AI 深度解读
让模型修改一张服务关系图,直接照着回复执行,12 轮实验全部出现状态损坏;加一层校验,损坏消失了,任务却可能完成得更差。这组围绕 Qwen2.5-7B-Instruct 的测试,讨论的是 AI 应用里一个很实际的问题:模型提出操作之后,宿主程序该承担多少责任。
作者给出的答案是:校验负责守住规则,修复负责补齐操作。但高成功率依赖业务规则和请求范围,不能直接当成通用 Agent 的可靠性成绩。
12 轮全出错,模型到底漏了什么
AXI 架构由 Rajnish Choubey 提出,测试由 Shalendra Gaur 构建并运行。作者此前多数测试使用 Gemini 3.8 Flash,这次换成小型开放模型,观察同类问题是否仍然出现。
配置是 Qwen2.5-7B-Instruct、4-bit 量化、Colab T4,采用贪心解码和约束解码。任务包含 12 个 episode,每轮连续处理 30 次请求,共 360 步,随机种子为 3000 至 3011。测试方案和预测在 2026 年 10 月 8 日运行前锁定。
每次请求都修改服务图。业务有一条规则:删除服务时,相关连接也必须删除。但主实验没有把它写进提示词。
直接执行模型提案的结果是:
- 12 轮都在第 10 步或之前出现状态损坏。
- 360 步中,只有 30 步的状态完全正确。
- 95 个删除服务的提案全部遗漏关联连接。
这里的损坏不是回复写得不好,而是服务已经删除,连接还指向它。模型输出即使经过约束解码,也没有自动满足业务规则。
为什么全部拦住错误,结果反而离目标更远
作者比较了三种执行方式:直接应用、校验门控(gate)、修复(repair)。AXI 位于宿主侧,模型本身没有改变,测量对象是宿主持有的状态。
gate 检查操作是否违反规则,违规就拒绝。它在 360 步中没有造成一次状态损坏,却拒绝了全部 95 个删除提案。该删的服务和连接因此保留下来。
最终,gate 与正确状态的平均差距是 23.3 项,直接执行则是 15.0 项。原文没有在这里展开「项」的具体计数口径。
状态不损坏,不等于任务完成了。
repair 则按照业务规则补齐删除操作,将相关连接一起清理。它把被拒绝的 95 个提案全部补到了精确目标状态;整体上,360 步中有 358 步完全正确,12 轮中有 11 轮在第 30 步达到精确状态。
这组结果支持的做法很具体:当缺失动作可以由明确规则推导时,宿主可以补全操作,而不必只在「执行」和「拒绝」之间二选一。
规则写进提示词后,成绩为什么变了
主实验故意省略业务规则,这个前提不能跳过。另一次把规则写进提示词的测试包含 8 轮、240 步:
- 直接执行仍有 7 轮在某一步出现损坏。
- 单独使用 repair 从未损坏状态,但只有 132 步完全正确,占 55%。
修复能守住结构规则,却不保证操作符合用户意图。后续加入范围过滤器(scope filter),在新种子的测试中达到 354/360 步正确,即 98.3%。
原文也给出了过滤器的边界。请求如果是「删除所有权重为 w 的边」,没有点名任何服务,过滤器就缺少可读取的服务范围。相关测试的 280 个输出中有 11 个错误,全部属于这类请求,两个模型尺寸都出现了这个问题。
14B 模型的结果同样需要分开看:gate、repair 和范围过滤器在 840 次单次请求及 600 个连续步骤中均未造成损坏;没有提示规则、直接应用提案时,仍有 24/140 张图损坏。收益比 7B 小,但没有消失。
我的判断
我认同把业务约束放到宿主侧。服务删除后的关联清理,本来就适合交给确定性代码处理。把它写进提示词有帮助,但这组实验说明,提示词不能替代执行时的检查。
不过,repair 使用的正是任务自身的规则。它能补齐关联删除,不代表它能修复任意错误决策。范围过滤器面对没有服务名称的请求仍会失效,也说明结构正确和意图正确是两道检查。
与常见的数据库外键级联删除、事务校验或应用层参数校验相比,AXI 在这里承担的部分职责并不陌生。原文没有提供这些方案的对照数据,也没有比较延迟、成本和维护复杂度,尚不足以证明 AXI 更优。
这是一组有限任务上的实测证据,不是通用可靠性保证。
作者也承认:实验使用小模型、约束解码、30 步连续任务,且只有一次运行。文中未给出 14B 模型的完整名称,不能自行补全。
能拿来做什么
- 在 Node 服务中接入 AI 修改关系数据时,让模型提交操作提案,再由服务端检查引用关系;删除实体时,按明确规则统一处理关联数据。
- 为 AI 批量编辑功能分别记录「是否破坏约束」和「是否完成请求」。只统计错误拦截率,会漏掉大量被拒绝后没有完成的任务。
- 对「删除所有权重为 w 的边」这类全局操作,显式解析筛选条件,或先生成待修改对象集合,不能只靠请求里的实体名称判断范围。
- 验证 AI 编程或数据编辑流程时,加入连续操作测试。除了检查单次结果,还要比较多步之后的实际状态与预期状态,观察遗漏如何累积。