智能体评测开始追查运行框架责任

Agent 榜单上的分数，到底有多少来自模型，又有多少来自运行框架？这份 11 月 5—10 日的资讯汇总，把焦点放在了后者：同一个模型换一套 Harness，表现可能变化；任务完成了，执行过程也可能存在权限或状态管理问题。

对正在接入 AI 编程工具、搭建 Agent 的程序员，更有用的结论是：选型不能只看通过率，还要检查失败发生在哪一层。不过，原文混合了实验结果、官方宣传和社区观点，部分结论需要保留判断。

同一个模型，为什么换框架也会换分数

Harness 是包在模型外面的运行框架，负责上下文组织、工具调用、权限控制、状态保存和任务验证。模型决定下一步想做什么，框架决定这一步怎样执行、执行结果怎样送回来。

原文引用了一组控制变量实验：固定 DeepSeek V4.1 Flash 1017，在 Bug Hunt Bench 上比较 DeepSeek Harness、Claude Code、Pi 和 OpenCode。DeepSeek Harness 在三档思考强度下均小幅领先；Max effort 档位得分为 42.7/105，Claude Code 为 39.1/105。

但原文也明确说，样本有限，差距仍在统计噪声区间内。因此，这组结果支持继续研究框架影响，尚不足以证明 DeepSeek Harness 稳定胜出。

Agent 分数应该归属于模型、Harness 和环境的组合。

原文最后提到「换 Harness 可差 7–10 分」，却没有交代对应实验、计分尺度和置信区间。不能把这个范围直接套到前面的对照实验上。

任务成功，为什么还可能不合格

TraceTrial-Bench 把评测拆成两层：Agent 是否完成任务，以及 Harness 是否满足机制可靠性要求。后者覆盖上下文、工具、权限、状态、可观测性、生命周期和验证。

按原文数据，3420 次运行中，只有 8.4% 同时满足任务成功与全部 Harness 合规判据；另有 31.1% 虽然完成任务，框架仍存在违规或漏洞。

这两个数字提醒我们：最终答案正确，不能证明执行过程可靠。例如，权限检查有没有生效、任务状态能不能追溯，都不能靠最后一个成功标记判断。原文没有提供具体违规样例及严重程度，因此也不能把这些运行全部理解为发生了安全事故。

这套基准包含 95 个专家级任务，覆盖 Claude Code、OpenClaw、DeepSeek Harness 和 Pi，代码采用 MIT 协议。OpenClaw 的 Harness 宏观可靠性得分最高，为 72.0%；Claude Code 的 Agent 综合得分最高，为 73.5。两者衡量的对象不同，不能直接比较大小。

跑榜单和监控线上，需要两套思路

榜单适合比较固定任务上的表现，生产评测还要回答：真实请求哪里失败、更新后有没有退步、评分器是否可信。

原文列出的工具里，Langfuse 属于生产追踪与评测平台，并非 Benchmark。它提供 Agent Tool Call 链路可视化、人工标注与 LLM Judge 对齐、打分一致性分析，以及 Bedrock AgentCore 的 OpenTelemetry 追踪支持。

其中 Jev-as-a-judge 被描述为低成本、高速、类型化评分方案，适合全量生产流评分。但原文没有给出成本、延迟或准确率对照，能替代多少 LLM-as-judge，仍需验证。

原文还称 Langfuse Cloud 将于 11 月 16 日全面切换 v4，不再支持旧版数据模型，迁移助手已上线，重点涉及 Agent 追踪、多模态 Evaluator 和批量回溯评测 backfill。这个日期直接影响工程安排，但本文提供的材料不足以确认具体迁移范围。

模型侧，美团 LongCat-2.5 于 11 月 2 日发布、11 月 9 日开放权重，采用 1.6T MoE、百万上下文和原生多模态。官方在 DeepSeek Harness、OpenClaw 两套框架上测试，并宣称在 BrowseComp、AutomationBench、Character’s Last Exam 的网页浏览和跨应用自动化任务上超过 Claude Opus5。跨框架测试有参考价值，但原文没有附完整分数与配置，暂时只能按官方结果看待。

我的判断

我赞同把结果评测和过程审计分开。对代码 Agent 来说，完成修改、通过验证、遵守权限，是需要分别检查的事情。单一通过率会把这些差异压平。

但这份材料更适合作为线索清单。它没有提供论文链接、完整实验配置或原始表格；「最主流」「最有影响力」等描述也缺少依据。包括 Langfuse 被 ClickHouse 收购、平台迁移安排等时效性信息，都不宜仅凭这份汇总做决策。

与静态榜单相比，生产轨迹更贴近实际问题，但两者可以配合：固定任务帮助发现回归，线上追踪帮助发现测试集没覆盖的失败。至于长期记忆、动态偏好和多 Agent 协作，原文指出了方向，尚未给出足够的对照数据证明哪套方案更好。

能拿来做什么

• 比较 AI 编程工具时，尽量固定模型版本、仓库、任务和验证方式，并记录 Harness 与思考强度，避免把整套工具的差异都算到模型头上。
• 给自己的 Node Agent 分别记录任务结果、工具调用、权限检查和状态恢复结果，让失败能定位到具体环节。
• 建立固定的代码任务回归集，并保留执行轨迹。原文提到 Claw-SWE-Bench 有 350 个真实 GitHub Issue 任务及 Lite 子集，可作为进一步了解代码评测设计的线索。
• 已使用 Langfuse 的团队，应先核对官方 v4 迁移说明；准备采用自动评分的团队，则应先用人工标注检查评分一致性，再决定覆盖多少生产请求。