基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
编程提效2026-11-22 22:00

上万测试全绿,模型升级仍让任务失效

dev.to · AI#模型升级#测试#工具调用
Editor brief · 编辑速览

作者报告模型升级后,响应首块变为思考内容,九处按位置读取文本的代码因此返回空字符串,14271项测试未能发现问题。线上探测还暴露了思考内容耗尽输出预算、工具调用以普通文本返回等兼容性故障。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

14,271 项测试全部通过,模型升级后,定时写博客草稿的任务却次次失败。作者遇到的不是回答质量下降,而是应用对响应结构、token 预算和工具调用的假设接连失效。

这份摘要的提醒很具体:升级模型,不能只看测试是否变绿,还要检查应用能否拿到正文、预算能否覆盖可见输出,以及工具是否真的执行。三个问题看着相近,修起来却是三回事。

测试全绿,为什么任务还是次次失败

默认模型换成 Sonnet 5 后,响应开头出现了思考块(thinking block),不再直接是文本。

作者的代码里有 9 个调用点,都读取响应的第 0 个位置。这个位置没有文本字段时,代码又把缺失值转成了空字符串。于是,响应结构的变化被悄悄吞掉,直到下游任务需要正文时才暴露。

测试通过,只能证明已有断言成立,不能证明新模型仍满足应用暗中依赖的响应约定。

博客草稿任务随后每次定时运行都失败,28 天内产生了 9 条 Sentry 事件。这里的两个「9」要分开看:一个是存在相同读取方式的调用点数量,一个是监控记录的事件数量,原文没有说明它们逐一对应。

这类代码的问题不只是取错位置。把「缺少文本」转换成「空文本」,还会抹掉诊断线索,让结构异常一路传到业务末端。摘要没有给出测试用例内容,所以不能断言 14,271 项测试具体漏测了哪一层,只能确认它们没有拦住这次故障。

修好解析,也未必能拿到正文

作者又做了一次在线探测:token 预算设为 2048,等待 27 秒,返回的文本块数量为零。

原因是思考内容和可见文本共用同一个预算上限。即使响应解析完全正确,也无法从结果里提取模型根本没有生成的正文。

这里需要区分两种失败:

  • 响应中已有文本,但应用因为固定读取第 0 个位置而漏掉了。
  • 响应中根本没有文本,预算已经被思考过程消耗。

前者要修解析逻辑,后者要重新检查预算与思考配置。只改解析器,无法解决第二种问题。

但这次探测也有边界。摘要只给出 2048 token、27 秒和零文本块,没有交代完整提示词、重复次数或其他预算下的结果。因此,它证明了这个配置下确实可能拿不到正文,不能据此推断所有请求都会如此。

关闭思考后,还要确认工具真的执行了

另一个现象出现在 Opus 5:关闭思考后,模型可能把工具调用作为普通文本返回。

请求成功结束了,工具却没有运行。对需要调用工具的应用而言,这比返回格式不好看更严重,因为业务动作根本没有发生。

模型写出了工具调用的文字,不等于应用收到了可执行的工具调用。

因此,检查响应成功与否还不够。需要继续确认:应用是否识别到了工具调用,是否进入执行流程,以及工具是否产生了预期结果。

原文没有给出具体工具、请求参数和复现频率,也没有提供响应样例。能保留的结论是作者报告了这种现象,不能把它扩大成 Opus 5 在所有工具场景下的固定行为。

我的判断

作者最有价值的判断,是把「模型推理能力」和「应用升级是否成功」分开了。这些故障说明应用与模型之间的约定出了问题,不能证明新模型推理更差,也不能因为模型更强就忽略这些故障。

相比只跑原有测试,增加少量真实请求验证,确实更贴近这里暴露的问题:响应块顺序、可见文本是否存在、工具是否实际执行,都需要覆盖到。

但输入材料只是经 Claude 辅助撰写的摘要,并非完整实验报告。它没有给出不同模型、预算和配置之间的系统对照,也没有说明怎样的测试组合最有效。把它当作故障案例很有用,把它当作经过验证的完整升级方法,还缺证据。

能拿来做什么

  • 在 Node 的模型响应处理代码中,排查固定读取第 0 个位置的写法;按块类型提取正文,并把「没有文本块」作为明确状态处理。
  • 升级默认模型前,用真实业务提示词做探测,记录耗时、文本块数量和输出内容,尤其检查原有 token 预算能否容纳思考与正文。
  • 为工具调用任务验证实际执行结果,避免仅凭请求成功或响应里出现工具调用文字,就判定任务完成。
  • 对博客草稿这类定时任务,在调用结束时检查正文是否存在,并及时上报异常,减少问题拖到后续多次调度才被发现的机会。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
诱饵凭据测试揭示推理服务数据泄露风险
下一篇
给 Agent 查库能力,把权限限制写进代码

资讯速览

dev.to · AI · 2026-11-22 22:00

AI 评分 9.0 / 10

相关标签

#模型升级#测试#工具调用

继续阅读

  • 诱饵凭据测试揭示推理服务数据泄露风险
  • 给 Agent 查库能力,把权限限制写进代码
  • Agent 榜单高分背后:自报成绩与验证缺口
  • 把自然语言云策略落成可执行审计规则