Agent 返回错误文本,工作流为何仍成功
一个 Temporal 集成示例直接返回 Claude Agent SDK 的 ResultMessage.result,导致认证失败被当作正常工作流结果。应用必须检查 is_error;仅检查结构化输出是否存在,也可能掩盖真正的认证错误。
AI 深度解读
API 已经返回认证失败,工作流却显示成功。作者在搭建一个由 Temporal 支撑的小型 Agent 时,因为 API key 被截断,发现部分 Claude Agent SDK 示例会把认证错误文本当成最终答案返回。
问题出在应用如何解释 SDK 的结果消息:一轮交互结束,不代表请求成功。这个案例值得读,因为它展示了一个容易漏掉的错误边界,也给出了不调用真实模型就能复现问题的测试方法。
为什么认证失败会变成工作流成功
相关示例通过 Temporal 集成使用 Claude Agent SDK。响应循环等到 ResultMessage,便直接返回 message.result。
但 result 字段也可能装着失败原因。收到 ResultMessage,只能确认这一轮交互已经结束;是否失败,还需要检查 is_error。
在 hooks 示例里,被拒绝的 key 因此可能产生这样的结果:API 请求失败,Agent 输出认证错误文本,应用正常返回这段字符串,Temporal 最终把 Workflow 标记为成功。
Temporal 无法仅凭字符串内容判断业务失败。对它来说,应用代码正常返回了一个值。
structured-output 示例表现不同:它继续寻找结构化数据,发现没有,就抛出「缺少输出」的错误。虽然没有假成功,却把真正的认证失败遮住了,排查方向也随之偏移。
先判断这一轮是否失败,再解释答案内容。
这两个症状都来自同一个处理顺序错误。
不调用真实模型,怎么证明修复有效
这些示例已有一个用于离线测试的本地脚本化 API。作者扩展了测试夹具,让它既能返回模拟模型响应,也能返回 HTTP 错误。
这次回归测试中,每个请求都会收到固定测试消息的 401 认证错误。使用的是测试凭据和本地端点,不需要有效模型 API key,也不需要外部推理请求。
作者把这个场景跑过示例 Workflows,以及聊天示例的消息 Update。修复前,10 个用例中有 9 个把错误文本当成成功结果,剩下的 structured-output 用例则抛出了误导性的缺少输出错误。
测试没有只检查「有没有抛异常」,还限定了三个条件:
- 本地 API 必须确实收到请求,避免无关的初始化失败蒙混过关。
- 调用方必须收到 Temporal
ApplicationError,而且失败原因不能为空。 - 聊天消息
Update必须失败,不能把认证错误作为普通回复交付。
这些断言把测试约束在了目标问题上。否则,哪怕程序因为配置错误提前退出,也可能满足一个过于宽泛的异常断言。
CLI 对被拒请求的退避重试还会拖慢测试,因此离线测试环境设置了 CLAUDE_CODE_MAX_RETRIES=0。模拟响应立即返回,且结局已经确定,重复请求没有额外价值。作者明确指出,这不是生产环境关闭重试的建议。
错误上抛之后,还有哪些事没解决
修复后的处理器首先检查 is_error。如果失败,优先从 result 提取原因,缺失时回退到 errors 列表,再抛出 ApplicationError。只有成功结果才进入正常答案处理。
结构化输出也采用这个顺序:先识别失败,再检查结构化值是否缺失。这样,认证错误就不会被次生的格式问题覆盖。
聊天示例还保护了会话状态。消息 Update 失败后,对「最后一次成功回复」的引用保持不变,错误文本不会成为新的成功答案。
不过,把失败传给调用方,并不等于决定如何恢复。认证错误、限流、连接中断和服务商临时故障,需要不同的重试策略。抛出异常与选择重试策略是两件事,原文没有提供完整的生产策略实现。
验证范围同样需要看清。11 月 12 日,新增的 10 个用例在本地通过,Claude 示例测试套件共有 37 个测试通过。截至 11 月 16 日,修复 PR #411 已获批准,但仍未合并;本地结果也不能证明仓库完整 CI 已通过。这些测试描述的是固定代码修订下的行为,不能推广到所有 SDK 版本或所有失败类型。
我的判断
我认同这次修复的落点:应用应当根据 SDK 提供的失败标志解释结果,再决定返回什么。相比扫描文本里有没有「authentication」等词,检查 is_error 更直接,也避免把正常讨论错误信息的回答误判为失败。
只检查结构化输出是否存在也不够。它能拦住一部分异常,却未必保留真正的失败原因。输出校验仍然有用,只是应当排在失败检查之后。
这篇文章有明确的本地复现和回归测试,足以支撑这批示例存在错误处理遗漏的判断。但它没有给出不同 SDK 版本的对照,也没有验证生产重试效果,不能据此判断整个集成的可靠性。
SDK 交互结束、模型请求成功、业务操作成功,需要分别判断。
即使 is_error 为假,应用仍可能需要校验答案是否满足业务要求。此次修复守住的是其中一个边界。
能拿来做什么
- 检查日常 AI 编程项目中的 SDK 响应处理,尤其是拿到终止消息就直接返回文本的代码,确认已先读取 SDK 提供的失败标志。
- 如果 Node 服务需要解析模型的结构化输出,先处理请求或轮次失败,再做字段与格式校验,让调用方拿到原始失败原因。
- 为聊天接口补一个本地
401回归场景,同时检查请求确实发出、调用方收到明确失败,以及最后一次成功回复没有被覆盖。 - 将测试重试配置与生产重试策略分别管理。确定失败的离线夹具可以关闭重试,生产请求则需要按失败类型制定策略。