基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 17:32

用调用链定位智能体的延迟瓶颈

dev.to · AI#智能体#可观测性#性能排查
Editor brief · 编辑速览

一次 30 秒的智能体请求中,模型推理只花了 3 秒,搜索工具反复重试却占了 25 秒。文章按检索、工具、沙箱和编排等环节梳理容易误判的问题。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Agent 回答慢,第一反应往往是换模型。但作者追踪一次 30 秒的响应后发现,模型思考只用了 3 秒,某个搜索工具却在网站重试中耗掉了 25 秒。换模型只能省下一小截时间,真正该改的是工具调用。

这篇文章把 Agent 的常见故障拆到检索、工具、浏览器、编排和成本几层。最有用的结论是:先判断问题发生在哪一层,再决定改什么;评估也不能只看答案,走错路径得到正确结果,同样可能不合格。

答案对了,为什么还算失败

查账户余额,直接调用账户 API,1 秒就能返回;先启动 Planner,拆成查用户、查账户、汇总三步,则可能花 30 秒。答案相同,过程相差 30 倍。只比较最终文本的测试,会把两条路径一起判为通过。

作者建议给调用标记执行路径。单事实查询预期应直接调用工具,实际却走了 Planner,即使答对也算失败。负责分流的意图判断可以交给便宜、快速的模型,并把生产环境的路由准确率门槛设为 95%。这个数字是作者的建议,不是通用标准。

Agent 的质量,要连同它为答案付出的时间和成本一起评估。

开头的慢请求也是同一个问题:没有调用追踪(trace),界面停住就容易被理解为模型正在深入思考。有了各阶段的时间戳,才能看见真正的等待发生在哪里。作者把工具等待改为 5 秒超时加一次重试,并建议让可并行的工具并发执行,超时则作为失败结果返回模型。

工具设计也会影响过程。最初的 analyze_data(file_path) 看起来方便,却没有讲清路径、列选择和数据清洗责任。作者将它拆为 load_csv()、get_column_names()、calculate_correlation(),每个工具不超过 3 个参数,调用准确率从 60% 升到 95%。

拆分后仍需说明各工具何时不该使用,否则模型会在相似工具间摇摆。执行报错则连同产生错误的代码交回模型,最多重试 3 次。作者称约 80% 是类型转换、空值等问题,两轮内可以修正;其余约 20% 是需要人工处理的逻辑错误。这是其场景下的经验分布,不能直接套到其他业务。

检索不到、排得太后、问题太大,要分开处理

作者用保险条款检索说明了两个指标的区别。在 50 个问题中,纯向量检索命中 35 个,换成 BM25 加向量的混合检索后命中 43 个,命中率从 70% 升到 86%。具体例子里,答案位于雇主责任险 PDF 的 4.2 节,混合检索把它放到了第 2 位。

Hit Rate@K 只问:前 K 个片段里有没有答案。MRR 则衡量正确答案排得够不够靠前:第 1、2、5 位分别得 1.0、0.5、0.2 分;两个问题分别排第 2、第 1,MRR 就是 (0.5 + 1.0) / 2 = 0.75。

命中率高但 MRR 低,说明材料找到了,却经常埋在后面。

接着还要区分位置问题和范围问题。位置问题是材料已经进入上下文,模型却忽略了中间部分,也就是 Lost in the Middle。支持 128K 甚至 1M 上下文,不代表应该直接塞入 Top-50。作者建议先用 reranker 重排,再将高相关片段放在上下文首尾,较弱片段放中间;确实超窗时,再用 Map-Reduce 分段摘要、汇总摘要。

范围问题更难。例如问整份财报的总体风险,答案散落在全文,top-k 相似片段可能根本覆盖不全。GraphRAG 为此先抽取实体和关系,做分层社区发现,生成社区报告,再通过 Map-Reduce 汇总回答。

原文转述 Microsoft 的评估称,在完整性和多样性上,GraphRAG 有 70% 至 80% 的比较胜过普通 RAG。但它需要预先构建图索引;原文还称文档更新会触发重建,没有展开增量更新条件。团队得把索引维护成本一起算进去。

RAG 与微调也应按缺口选择。先把正确材料直接给模型:能答好,优先补检索;仍无法遵守格式、语气或复杂指令,再考虑微调。作者主张先 RAG,并称微调贵一个数量级,但没有给出具体账单,不能当作预算公式。

浏览器和执行循环,要等结果,也要能停下

DOM 找到元素,不代表元素可以点击。CSS 隐藏、遮罩、iframe 和尚未完成的渲染,都可能让日期选择器出现「点击执行了,日期没变」。

作者采用 DOM 优先、视觉兜底:定位失败或点击无效时截图,让多模态模型返回 (x, y),再模拟鼠标点击,复杂页面成功率从 60% 升到 90%。每次截图都多一次模型调用,因此需要按失败触发。

等待也应封装进工具。作者加过 sleep(3),10 次只成功 6 次。固定等待关心的是时间到了没有,而页面操作关心的是目标出现没有。原文建议用 Playwright 的 wait_for_selector 等待 .flight-list,设 10 秒超时,比一味等待网络空闲更贴近任务完成条件。

执行循环同样需要观察结果。作者建议每次比较当前 Action 与此前 3 次操作:连续 3 次高度相似、没有新结果,就提前中断,要求换策略或询问用户。OpenManus 的 BaseAgent 已包含此类停滞检测。

代码执行则使用独立容器,只收集 stdout 和 stderr;超过 30 秒或内存耗尽,直接销毁。可选 Daytona、E2B,或者 Docker 加资源限制。原文把这一层定位为防事故;若要处理恶意代码,安全要求还需另行设计。

需要人工确认的流程,可以用 LangGraph 的条件边、循环和 checkpoint 暂停。恢复时使用 Command(resume=...),并保持同一 thread。这里最容易踩坑的是 interrupt():恢复会重新进入当前节点,节点内暂停点之前的代码会再跑一次,所以文件写入、请求发送等副作用应放到确认之后。

OpenManus 则将职责分成 BaseAgent、ReActAgent、ToolCallAgent 和 Manus 四层,业务改动主要落在顶层提示词与工具集。约十几行的 AskHuman 工具,也把求助人工纳入了普通工具选择。

什么时候该收起 Agent,写一个函数

步骤每次都相同,就可以封装成函数。Agent 的价值在于处理不确定步骤,工具调用只是实现方式。

多 Agent 也不该成为默认升级。作者区分了两类问题:遗忘先压缩上下文,步骤太多再拆分角色。他给出的经验成本是普通聊天 1x、单 Agent 约 4x、多 Agent 约 15x;但「超过 8K tokens 就开始遗忘」缺少模型和任务条件,不能当作统一边界。

更便宜的做法包括按任务分配模型:小模型做意图识别、路由和润色,大模型负责核心推理与代码生成。作者还将几页说明压成 Markdown 表格,减少了 40% 输入 tokens。

私有部署部分,原文给出的数据是:vLLM 的 PagedAttention 将 KV cache 内存利用率从 20% 至 40% 提高到最高 96%,吞吐提升 2 至 4 倍;Int4 量化后,14B 模型可运行在单张 24GB 显卡上。这些数字缺少具体测试配置,只适合作为进一步验证的线索。

我的判断

这篇最扎实的部分,是把模糊的「Agent 不好用」拆成可观察的问题。比起直接换模型、微调或增加 Agent,先记录工具耗时、检索排名和执行路径,更容易找到可以验证的改动。

但文章里的成功率和成本倍数,多数没有交代样本、基线及测试条件,属于经验之谈。长上下文的位置影响也需要按模型验证,不能把上下文中间一律视作不可用。

安全部分尤其要打问号。<user_input> 标签可以帮助区分指令与数据,却挡不住所有注入;轻量审核模型也不是原文所称的「确定性」出口防线。密码、密钥、内网地址和数据库连接串的检查,需要明确规则、权限与数据隔离共同承担。

原文关于 Playwright 全部直接通过 CDP 控制、ChromeDriver 必须与浏览器版本完全一致的表述,也过于绝对。最后推荐统一模型入口,并点名 4sapi,但没有提供该产品的对照证据。统一记录延迟与成本的思路可以采用,产品推荐需要另行评估。

能拿来做什么

  • 给 Node Agent 增加逐次调用记录,至少包含路由、模型耗时、工具耗时、重试和失败原因,先定位最慢的一层。
  • 给日常 AI 编程评测加入路径预期,例如简单查询是否直接调用工具、无效修复是否反复重试,让正确答案也接受过程检查。
  • 给浏览器工具封装目标元素等待、超时和操作后验证,DOM 操作失败后再启用截图定位。
  • 给知识库准备一小组真实问题,同时计算 Hit Rate@K 和 MRR,并单独标记需要跨全文汇总的问题,再判断是否需要 GraphRAG。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
智能体跳过工具,结构化输出为何失效
下一篇
远程 MCP 服务上线与登记实录

资讯速览

dev.to · AI · 2026-11-20 17:32

AI 评分 8.0 / 10

相关标签

#智能体#可观测性#性能排查

继续阅读

  • DeepSeek 全栈 API 经兼容网关接入实测
  • 智能体跳过工具,结构化输出为何失效
  • 远程 MCP 服务上线与登记实录
  • 小团队何时该给数据仓库加一层
  • WhatsApp 机器人把报价和约见交给人工