先记住这个答案
单轮回答评估通常围绕输入与输出展开，而 Agent 会在多轮中读取环境、调用工具并修改状态。早期错误可能改变后续可见信息，同一个目标也可能有多条正确路径，因此只检查最终文字或固定工具顺序都不充分。评估需要同时定义任务结果、必要过程约束和运行条件，并记录可追踪的工具轨迹。还要隔离每次试验的环境，区分模型决策失败与基础设施故障。
- 实际产物与环境状态是评估对象，最终回复不能自证成功
- 合理执行路径可能不同，检查目标与必要约束更稳妥
- 初始状态、工具版本和外部故障会影响试验可比性
结果正确与回复好看不是同一件事
让 Agent 修复表格导出错误时，它可能写出完整解释，却没有修改文件；也可能完成了修改，但忘记说明一项兼容性限制。前者首先是任务未完成，后者还涉及交付质量。应分别检查产物行为和面向用户的说明，避免流畅文字掩盖实际缺失。
多步任务还有错误传播。例如第一次定位到了错误模块，之后的修改和测试可能都在错误对象上进行。仅看最终失败无法判断根因，轨迹应保留每步实际输入、工具结果、关键状态版本和错误类型，方便沿依赖关系回溯。
正确轨迹不一定长得一样
两个 Agent 可以一个先搜索符号再读文件，另一个从调用栈直接找到目标，都完成了修复。如果评分器把某条参考轨迹当作唯一答案，就可能惩罚有效路径。只有业务真正要求的顺序，例如必须获取当前版本才能提交更新，才应作为硬约束。
反过来，只看最终状态也可能遗漏不允许的中间操作。评估可以组合结果校验与必要过程约束，但过程指标要有明确理由。调用数量、耗时和重试次数适合帮助诊断与比较效率，不应无条件替代正确性判断。
环境隔离决定分数是否可信
一次试验留下的缓存、已修改文件或已创建记录，可能让下一次任务变得更容易，也可能造成重复键错误。需要给每次运行准备可复原的初始状态，记录数据快照和工具版本。用于评分的检查还要能识别已存在的产物，避免把历史结果算成这次成功。
外部接口故障应单独标注原因，不能静默删掉失败样本。比较两个版本时尽量使用相同任务与环境条件，并进行足够的重复试验观察波动。分数变化后查看具体失败类型，才能知道进步来自决策改善、环境变化还是评测口径改变。
容易答错的地方
- 只让模型评价最终回复
- 文字评分无法证明文件修改、工具副作用或数据状态真实存在，需要相应的客观结果检查。排查“AI Agent 评估与单轮 LLM 评估的区别”时还要核对输入、版本和执行顺序，并用反例确认修复后的边界。
- 复用被前一次运行改过的环境
- 残留状态会造成相关失败或虚假成功，应重置环境并保留每次运行的身份与初始条件。排查“AI Agent 评估与单轮 LLM 评估的区别”时还要核对输入、版本和执行顺序，并用反例确认修复后的边界。
面试官还会怎么问？
所有任务都需要真实外部服务吗？
不一定。稳定的模拟服务适合回归，但必须覆盖关键行为；涉及真实集成的问题还需在受控环境补验，注明模拟的限制。
工具超时算 Agent 失败吗？
用户体验层面它可能导致未完成，归因层面应区分环境故障和 Agent 的恢复策略，分别报告才能指导改进。
为什么要重复运行同一任务？
单次结果无法展示决策和环境波动。重复试验有助于估计稳定性，但要防止多个试验共享同一故障或残留状态。
参考资料
示例用于理解所注明的运行环境与边界；延伸学习可结合原文中的更多案例。