上万测试全绿,模型升级仍让任务失效
作者报告模型升级后,响应首块变为思考内容,九处按位置读取文本的代码因此返回空字符串,14271项测试未能发现问题。线上探测还暴露了思考内容耗尽输出预算、工具调用以普通文本返回等兼容性故障。
AI 深度解读
14,271 项测试全部通过,模型升级后,定时写博客草稿的任务却次次失败。作者遇到的不是回答质量下降,而是应用对响应结构、token 预算和工具调用的假设接连失效。
这份摘要的提醒很具体:升级模型,不能只看测试是否变绿,还要检查应用能否拿到正文、预算能否覆盖可见输出,以及工具是否真的执行。三个问题看着相近,修起来却是三回事。
测试全绿,为什么任务还是次次失败
默认模型换成 Sonnet 5 后,响应开头出现了思考块(thinking block),不再直接是文本。
作者的代码里有 9 个调用点,都读取响应的第 0 个位置。这个位置没有文本字段时,代码又把缺失值转成了空字符串。于是,响应结构的变化被悄悄吞掉,直到下游任务需要正文时才暴露。
测试通过,只能证明已有断言成立,不能证明新模型仍满足应用暗中依赖的响应约定。
博客草稿任务随后每次定时运行都失败,28 天内产生了 9 条 Sentry 事件。这里的两个「9」要分开看:一个是存在相同读取方式的调用点数量,一个是监控记录的事件数量,原文没有说明它们逐一对应。
这类代码的问题不只是取错位置。把「缺少文本」转换成「空文本」,还会抹掉诊断线索,让结构异常一路传到业务末端。摘要没有给出测试用例内容,所以不能断言 14,271 项测试具体漏测了哪一层,只能确认它们没有拦住这次故障。
修好解析,也未必能拿到正文
作者又做了一次在线探测:token 预算设为 2048,等待 27 秒,返回的文本块数量为零。
原因是思考内容和可见文本共用同一个预算上限。即使响应解析完全正确,也无法从结果里提取模型根本没有生成的正文。
这里需要区分两种失败:
- 响应中已有文本,但应用因为固定读取第 0 个位置而漏掉了。
- 响应中根本没有文本,预算已经被思考过程消耗。
前者要修解析逻辑,后者要重新检查预算与思考配置。只改解析器,无法解决第二种问题。
但这次探测也有边界。摘要只给出 2048 token、27 秒和零文本块,没有交代完整提示词、重复次数或其他预算下的结果。因此,它证明了这个配置下确实可能拿不到正文,不能据此推断所有请求都会如此。
关闭思考后,还要确认工具真的执行了
另一个现象出现在 Opus 5:关闭思考后,模型可能把工具调用作为普通文本返回。
请求成功结束了,工具却没有运行。对需要调用工具的应用而言,这比返回格式不好看更严重,因为业务动作根本没有发生。
模型写出了工具调用的文字,不等于应用收到了可执行的工具调用。
因此,检查响应成功与否还不够。需要继续确认:应用是否识别到了工具调用,是否进入执行流程,以及工具是否产生了预期结果。
原文没有给出具体工具、请求参数和复现频率,也没有提供响应样例。能保留的结论是作者报告了这种现象,不能把它扩大成 Opus 5 在所有工具场景下的固定行为。
我的判断
作者最有价值的判断,是把「模型推理能力」和「应用升级是否成功」分开了。这些故障说明应用与模型之间的约定出了问题,不能证明新模型推理更差,也不能因为模型更强就忽略这些故障。
相比只跑原有测试,增加少量真实请求验证,确实更贴近这里暴露的问题:响应块顺序、可见文本是否存在、工具是否实际执行,都需要覆盖到。
但输入材料只是经 Claude 辅助撰写的摘要,并非完整实验报告。它没有给出不同模型、预算和配置之间的系统对照,也没有说明怎样的测试组合最有效。把它当作故障案例很有用,把它当作经过验证的完整升级方法,还缺证据。
能拿来做什么
- 在 Node 的模型响应处理代码中,排查固定读取第 0 个位置的写法;按块类型提取正文,并把「没有文本块」作为明确状态处理。
- 升级默认模型前,用真实业务提示词做探测,记录耗时、文本块数量和输出内容,尤其检查原有 token 预算能否容纳思考与正文。
- 为工具调用任务验证实际执行结果,避免仅凭请求成功或响应里出现工具调用文字,就判定任务完成。
- 对博客草稿这类定时任务,在调用结束时检查正文是否存在,并及时上报异常,减少问题拖到后续多次调度才被发现的机会。