代码花括号如何让智能体输出解析失败
BeeAI 将纯文本回复转换为最终答案工具调用时,会把代码中的花括号误当作 JSON 提取。宽松解析器可能返回列表等非对象值,缺少模式校验使正确答案也能导致运行失败。
AI 深度解读
一道 JavaScript 加法题,模型给出了正确代码,Agent 却没能正常结束。作者排查 BeeAI Framework 后发现,问题出在读取答案的逻辑:程序把代码里的花括号当成 JSON 的线索,又把修复后的结果直接交给工具处理。
这篇案例值得看,因为它暴露了 AI 编程里容易忽略的一层:模型输出正确,不代表整个调用链就能正确处理。答案转换、Schema 校验和错误反馈,任何一处边界没守住,都可能把正确答案变成重试甚至崩溃。
为什么一对花括号会让正确答案失效
BeeAI 的 RequirementAgent 和 ToolCallingAgent 把最终答案也建模成工具,名称是 final_answer。它使用 pydantic 的 FinalAnswerToolSchema,或者用户通过 expected_output 指定的 Schema。每一步都是工具调用,每次调用都要校验,这样能统一 Agent 循环的处理方式。
但模型有时直接回复普通文本,框架就需要把文本转换成 final_answer 的输入。
旧逻辑先找回复中的第一个花括号块,再尝试修复 JSON:
match = first_curly_block(text) # 回复中的第一个 {...}
if match:
tool_input = parse_broken_json(match) # 宽松的修复解析器
else:
tool_input = {"response": text}
要看的是 if match:找到花括号,就进入结构化解析分支。可 JavaScript 函数体同样使用花括号,它并不能证明里面装的是工具参数。
parse_broken_json 的设计目标是尽量修复输入并返回一个值。但这个值可能是列表或其他类型,未必是符合 Schema 的对象。旧转换流程没有在它成为工具输入前完成这层检查。
作者提到三种正确答案触发失败的情况,但提供的正文没有逐项列全。能确定的是,第三种情况使用了反复返回同一答案的脚本模型,Agent 一直重试到 max_iterations:一道题触发了 96 次模型调用,在另一种 final_answer_as_tool 模式下则是 156 次。
这些数字来自特定复现条件,不能直接当作真实模型的日常表现。真实模型可能调整输出并恢复,但已经生成的正确答案仍可能被丢弃,额外调用也已经发生。
修复答案转换,还要让报错通道接得住错误
另一个问题藏在异常处理里。
工具执行失败时,Tool.run 会在 except 块中创建 ToolErrorEvent(input=...)。当时 ToolErrorEvent.input 的类型是 BaseModel | dict,因此,如果出错的工具输入恰好是列表,构造错误事件本身就会触发 pydantic ValidationError。
这个异常不是 ToolError,run_tool 接不住,整个运行便会中止。影响范围也不限于 final_answer,任何使用 JSON 数组作为参数的工具调用都可能碰到它。
错误反馈通道必须能容纳它正在报告的错误输入。
答案转换的修复,则把判断依据从「有没有花括号」改成「能否通过对应 Schema」。下面是原文给出的简化实现:
def text_to_final_answer_input(text, schema):
parsed = try_parse_first_object(text)
if schema is FinalAnswerToolSchema:
if parsed is not None and is_valid(parsed, schema):
return parsed
return {"response": text} # 原样保留答案
# 自定义 expected_output:继续传递 JSON 对象以获得有用的校验错误,
# 但不传递列表或普通值
return parsed if isinstance(parsed, dict) else {"response": text}
要看的是默认 Schema 分支里的 is_valid(parsed, schema):只有校验通过,解析结果才作为结构化参数使用,否则把完整原文放进 response。
自定义 expected_output 的处理稍有不同:字典会继续交给后续校验,以便生成有用的错误信息;列表和普通值则不会直接透传。因此,这段修复并不是把所有不合法内容都静默吞掉。
两个 Agent 现在共用 text_to_final_answer_input。与此同时,ToolErrorEvent.input 改为接受任意值,让参数形状错误能够转成模型可见、可修正的工具错误。
作者报告,此次修改没有改变公共 API,23 个测试覆盖了转换函数、两个 Agent、两种 final_answer_as_tool 模式和数组参数调用,其中 16 个在旧代码上失败。PR 于 11 月 12 日合并,也是作者首次合并的 Python 贡献。
我的判断
我认同这次修复的边界选择:JSON 修复器可以宽松,进入业务执行前的校验必须明确。解析成功只能说明拿到了一个值,不能说明拿到了业务需要的数据。
相比继续增加花括号识别规则,用 Schema 判断更贴近工具的真实要求。相比完全取消文本兜底,这个方案也保留了对普通文本回复的兼容。
不过,原文没有给出与其他解析方案的对照数据,也没有展示真实模型上的故障率、调用成本变化。96 次和 156 次调用足以说明重试可能放大故障,不能据此估算一般团队的收益。
自定义 expected_output 的兜底行为也需要结合自己的约束检查。{"response": text} 未必符合自定义 Schema,它的作用是把输入送回可处理的校验路径,并不保证最终答案立即通过。对业务必须拿到结构化结果的场景,仍要明确校验失败后如何重试、何时停止。
能拿来做什么
- 如果你的 AI 编程工具会从回答中提取 JSON,把含有 JavaScript 函数体的正确答案加入回归样例,确认花括号不会导致正文被误判或丢弃。
- 检查 Node 服务里的模型输出处理链,在 JSON 解析或修复之后,使用业务实际要求的 Schema 校验,再进入工具执行。
- 给工具错误通道补上列表、字符串和 null 输入的验证,确认记录错误、构造事件和返回反馈的过程都能正常完成。
- 为 Agent 重试设置明确上限,并检查日志能否区分模型回答错误、参数转换失败和错误处理失败,避免把所有额外调用都归因于模型。