工具调用被截断后,宽松解析可能误执行
文章报告两个开源项目曾在模型输出耗尽时执行不完整的工具调用,相关问题均已修复。示例中,JSON修复器将被截断的1000元退款参数补成合法的10元请求,暴露出解析成功与调用完整之间的差异。
AI 深度解读
模型想退 1000 元,参数写到 10 时撞上输出上限,工具却真的退了 10 元;另一段调用丢了客户筛选条件,最终关闭了所有客户的工单。这篇文章追查的是 Agent 的一个执行漏洞:模型还没写完,框架已经开始干活。
作者自述是一个 AI Agent,在 Langroid 和 Heym 两个开源项目中复现、提交了问题,两边均已修复。它值得程序员读几分钟,因为风险藏在 JSON 容错、默认参数和工具调度之间,正常调用测试很容易漏掉。
JSON 能解析,不代表工具调用已经写完
第一个案例来自 Langroid,问题编号是 #1291。模型原本要退款 1000,返回的参数却停在 {"order_id": "A-1001", "amount": 10,同时标记 finish_reason == "length"。
严格的 json.loads 会拒绝这段残缺文本,但宽松解析库 json_repair 自动补齐了结构。工具收到 amount=10.0,返回「refunded $10.0」。作者测试中,流式和非流式调用都如此。
另一个邮件案例更接近日常使用:对话早期的输出预算是 512 tokens,邮件可以完整生成;历史增长后,框架把某一轮预算降到 102,模型在正文中途停止,邮件仍被发送,结尾只有半句话「If i」。原有的解析失败回退逻辑没有触发,因为修复器已经把参数变成了合法对象。
Heym 的 #902 则走了另一条路:解析失败,直接用空对象继续执行。
try:
args = json.loads(call.arguments or "{}")
except JSONDecodeError:
args = {} # 然后仍然执行工具
要盯住的是 args = {}:它把「参数没有传完整」变成了「调用默认行为」。
必填参数会让工具报缺参错误,但这个错误也会误导模型。全可选参数更危险。作者测试的 close_tickets(customer_id="", older_than_days=0) 收到截断文本 {"customer_id": "C-77", "older_than_d 后,使用默认值执行,关闭了所有客户的工单;追踪记录显示 status: success、arguments: {},Agent 最后回答「Done」。
残缺调用未必少做事情,也可能因为筛选条件消失而扩大操作范围。
为什么不能只拦截 JSONDecodeError
不同接口用不同字段表达输出耗尽:
- Chat Completions 使用
finish_reason == "length"。 - Anthropic Messages 使用
stop_reason == "max_tokens"。 - Gemini 使用
finishReason == "MAX_TOKENS"。 - OpenAI Responses API 使用
status == "incomplete",原因是max_output_tokens。
多供应商框架可能已经统一了这些状态,但工具循环没有读取它们。信息进来了,却没参与执行决策。
更麻烦的是,Anthropic、Gemini 和 Responses 的参数可能以合法对象到达。此时没有 JSONDecodeError 可抓,只有停止原因能证明这一轮被截断。
作者提出的规则是:一轮因为输出上限结束,就拒绝这一轮的全部工具调用,逐个返回错误,让模型缩短后重发,并限制重试次数。
这段调度代码解决的是执行前的统一拦截:
def run_turn(turn):
if turn.stop_reason in LIMIT_REASONS and turn.tool_calls:
for call in turn.tool_calls:
reply_error(call, "cut off by output limit; resend shorter")
return # 不执行任何工具
for call in turn.tool_calls:
execute(call)
关键在 return 的位置:检查发生在任何 execute(call) 之前。因此,即使同一轮里某个调用看起来完整,也不会先放行。
Langroid 维护者在 #1292 合入自己的修复;作者为 Heym 编写的 #903 也已合入。不过,修复还暴露了两个后续问题。
拒绝执行以后,日志和审批仍可能出错
第一个问题是敏感参数泄漏。#903 为记录拒绝原因,把原始参数存成 {"raw_arguments": "<string>"}。原有脱敏按字段名工作,参数一旦变成整段字符串,里面的 token 字段就无法被识别。同一截断轮次中,一个完整调用的敏感参数因此可能进入持久化记录和追踪日志。
后续做法是:参数能正常解析,就保留结构,让按键脱敏继续生效;解析不了,只记录长度,例如 {"unparsed_arguments_chars": N},不保存残片。
第二个问题涉及人工审批工具。原先,格式错误的审批调用被替换为 {},仍会暂停运行。第一版修复让它直接返回错误,结果没有触发暂停,同一批次里另一个有效调用反而未经批准就执行了。
作者在 #911 中补上处理:审批请求格式错误时,同批其他调用也要暂缓,并提示模型重新提交审批请求。如果审批工具明确返回「not required」,其他调用仍照常执行。该补丁也已合入。
拒绝路径同样会写日志、改变调度顺序。把执行挡住,只完成了其中一部分。
我的判断
我认同把停止原因放在工具执行入口检查。它比只抓解析异常更完整,也能覆盖合法对象形式的截断结果。对有副作用的工具,宽松 JSON 修复尤其需要谨慎:补齐括号可以让结构合法,却无法还原模型没写出的金额、正文和筛选条件。
证据范围也要分清。作者报告了两个项目的复现和修复,并说明测试使用真实客户端库、HTTP 往返和工具执行器,模型端由本地服务器模拟。作者还阻断了非回环网络访问,记录到的外部连接尝试为零。这支持缺陷来自框架执行链路,但原文没有给出其他框架的普遍发生率,也没有真实生产事故统计。
「整轮拒绝」是偏保守的取舍,可能连带重试已经完整的调用。作者没给吞吐、延迟或重试成本的对照数据,不能据此宣称它在所有系统里都最优。不过,在缺少更可靠的逐调用完整性信号时,这条规则清楚,也容易验证。
能拿来做什么
- 检查前端或 Node 项目中把模型结果转换成工具执行的入口,确认它读取了输出耗尽状态;同时搜索
except JSONDecodeError和工具参数上的宽松 JSON 修复,追踪失败后是否仍会执行。 - 列出所有参数均可选的工具,实际确认空参数会做什么。优先检查客户、时间范围等筛选条件,尤其是默认操作全部对象的工具。
- 用 localhost HTTP 服务模拟供应商协议,把 Agent 的 base URL 指向它。完整场景返回
amount=1000和finish_reason="tool_calls";截断场景返回未闭合的amount: 10和finish_reason="length"。断言前者准确执行,后者工具处理器从未运行,且模型收到错误结果。 - 给长对话、敏感日志和审批批次补回归场景。本地服务可以按约每 token 4 个字符模拟
max_tokens耗尽,验证预算缩小时仍能拦截,并确认拒绝记录不会保存无法脱敏的参数残片。