10 分钟测试你的 AI Agent 是在推理还是背答案

不到十五分钟，你就能弄清楚你的 AI Agent 到底是真正在推理问题，还是只是比你拥有更大的信息存储空间。

这个区别正是本周流传的一篇文章的核心论点：AI 模型拥有人脑无法企及的大得多的工作记忆，而这种差距经常被误认为是智能。更长的上下文窗口让模型能够一次性查看整个代码库、整份法律简报或完整的客户历史记录——这与真正的推理是不同的，它更接近于一张大得多的便利贴。

下面是你如何验证自己交付的是哪一种的方法。

选一个你的 Agent 今天在生产环境中已经能处理得很好的任务。

剥离所有注入的上下文：不使用 RAG、不检索文档、不依赖聊天历史记录，只有最基础的指令。

给它一个从未见过的任务变体，一个没有查询捷径可走的变体。

运行两个版本，保存完整的推理轨迹，而不仅仅是最终答案。

比较注入上下文的运行版本和冷启动版本的准确率，以及推理过程的形态。

如果准确率在没有额外上下文的情况下崩溃了，那你做的是一个套着思维链外衣的查询引擎。如果准确率保持稳定，那你的 Agent 更接近于真正具备推理能力的东西。

把这个作为你的测试框架提示词：

TASK: [描述任务]
CONSTRAINT: 只使用下面的指令来解决。不要假设可以访问任何外部文档、之前的对话或检索到的上下文。
INSTRUCTIONS: [基础任务指令，无注入数据]
输出你的完整推理轨迹，然后给出最终答案。

关键陷阱：一个在生产环境中因为填充了大量检索上下文而看起来很出色的模型，可能在这个测试中表现糟糕，而且你会浑然不觉——直到有一天你的检索管道坏了，或者返回了错误的文档。更长的工作记忆买来的是记忆能力，而不是判断力。混淆这两者是团队最终交付了一个 Agent 的根本原因：这个 Agent 悄无声息地无法处理真正新颖的输入，因为它从来就不是在推理，它只是在更努力地记忆。

如果你正在构建真正区分推理与记忆成本的 Agentic 管道，关于编排完整 Agentic 工作流的 breakdown 值得一读。关于 AI 基准测试如何在悄悄地将记忆与推理混为一谈，Claude Opus 4.8 那篇文章从不同角度深入探讨了同样的失效模式。

每天一个 AI 信号。90 秒。无废话。订阅 vinpatel.com/subscribe/ 获取下一期。