LLM 裁判偏好更长回答的偏差如何影响 Agent 评估并如何校正
围绕“LLM 裁判偏好更长回答的偏差如何影响 Agent 评估并如何校正”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出在量规中显式惩罚无关冗长、控制回答长度变量等校正方法。
核心关键词LLM 裁判 冗长偏差 verbosity bias
面试知识索引 · 分类、标签与搜索
AI Agent面试题，511 道完整答案
AI Agent面试题第 3 页，显示第 101–150 题，共找到 511 道完整解析，可继续按分类、标签与关键词缩小范围。
511筛选结果
52技术分类
178检索标签
11索引分页
快速定位
清除全部筛选分类、标签与关键词搜索
第 3 页
本页面试问题
按稳定语义路径排序
- 0101
- 0102
LangSmith 中 dataset、experiment、evaluator 三个概念如何配合完成一次评估
围绕“LangSmith 中 dataset、experiment、evaluator 三个概念如何配合完成一次评估”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须说清数据集存样例、experiment 绑定一次运行结果、evaluator 产生分数的各自职责与关系。
核心关键词LangSmith dataset experiment evaluator 评估流程 - 0103
用 LLM 作为裁判评估 Agent 输出的基本做法与前提条件
围绕“用 LLM 作为裁判评估 Agent 输出的基本做法与前提条件”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明裁判提示词应包含明确判据、输入输出与评分格式，以及先用人工标注验证裁判一致性的前提。
核心关键词LLM as judge Agent 评估 前提 - 0104
升级 Agent 底层模型版本时如何设计回归对照
围绕“升级 Agent 底层模型版本时如何设计回归对照”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明固定输入集与随机种子、同条件双跑、按维度拆分对比报告的步骤。
核心关键词Agent 模型升级 回归对照 评估 - 0105
当任务存在多条合法解决路径时，如何避免轨迹评估误杀
围绕“当任务存在多条合法解决路径时，如何避免轨迹评估误杀”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明为何逐步比对参考轨迹会误判，以及改用结果判据或路径无关检查的设计。
核心关键词Agent 多路径 轨迹评估 合法路径 - 0106
多轮对话型 Agent 的评估与单轮任务评估有何不同
围绕“多轮对话型 Agent 的评估与单轮任务评估有何不同”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明需检验跨轮上下文保持、指代消解、话题切换恢复等单轮不存在的能力。
核心关键词Agent 多轮对话 评估 上下文记忆 - 0107
对同一任务多次运行 Agent 时，pass@k 与 pass^k 各度量什么
围绕“对同一任务多次运行 Agent 时，pass@k 与 pass^k 各度量什么”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须区分「至少成功一次」与「每次都成功」分别对应探索能力与可靠性，并说明选型依据。
核心关键词Agent pass@k pass^k 多次运行 成功率 - 0108
Agent 输出的非确定性来自哪些环节，如何提升评估可复现性
围绕“Agent 输出的非确定性来自哪些环节，如何提升评估可复现性”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答需要围绕必须枚举采样温度、工具返回变化、并发时序、外部状态四类来源及各自的固定手段。
核心关键词Agent 非确定性 可复现 评估 - 0109
Agent 的离线评估与在线评估各自的结论边界是什么
围绕“Agent 的离线评估与在线评估各自的结论边界是什么”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明离线可复现但分布失真、在线真实但难归因的互补关系。
核心关键词Agent 离线评估 在线评估 区别 - 0110
AI Agent 评估中结果评估与过程评估各适合什么场景
本题解释Agent评估中结果评估与过程评估的适用场景，核心依据是任务封闭性、错误可逆性和中间决策风险，并给出一个具体工程场景及判断方法。
核心关键词Agent 结果评估 过程评估 区别 - 0111
Agent 输出评估中成对比较与单点打分各适合什么决策
围绕“Agent 输出评估中成对比较与单点打分各适合什么决策”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明成对比较适合版本选型、单点打分适合绝对质量门槛，及前者无法给绝对分的局限。
核心关键词Agent 评估 成对比较 单点打分 - 0112
Agent 部分完成任务时应给部分分还是二元成败
围绕“Agent 部分完成任务时应给部分分还是二元成败”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖判断时要说明子目标加权计分的适用条件及二元判据更可靠的场景（如不可逆事务）。
核心关键词Agent 部分完成 部分给分 评分设计 - 0113
评估 RAG 型 Agent 时如何分别度量检索质量与回答的接地性
围绕“评估 RAG 型 Agent 时如何分别度量检索质量与回答的接地性”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须区分检索召回不足与模型未依据检索内容作答两类失败，及各自的评估指标。
核心关键词RAG Agent 检索质量 接地性 groundedness 评估 - 0114
修改 Agent 的系统提示词后应跑哪些回归评估
围绕“修改 Agent 的系统提示词后应跑哪些回归评估”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖判断时要说明全量回归集与针对修改点的定向用例各自的角色，以及通过率外的指标（成本、延迟）也要对照。
核心关键词Agent 提示词修改 回归评估 范围 - 0115
如何防止 Agent 评估集被训练数据或过拟合迭代污染
围绕“如何防止 Agent 评估集被训练数据或过拟合迭代污染”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明评估集与调参迭代分离、定期刷新用例、保留 held-out 集的手段。
核心关键词Agent 评估集 数据污染 过拟合 - 0116
为什么 Agent 回归集应以线上真实失败案例为最高优先级
围绕“为什么 Agent 回归集应以线上真实失败案例为最高优先级”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须论证失败案例对真实分布的代表性优于臆造用例，以及失败入库的闭环流程。
核心关键词Agent 回归集 失败案例 优先级 - 0117
如何为 AI Agent 构建回归测试集
围绕“如何为 AI Agent 构建回归测试集”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明从生产失败案例、人工编写边界用例、历史手工验证样例三类来源构建，并保持标注判据同步。
核心关键词Agent 回归测试集 构建 来源 - 0118
如何给 AI Agent 的开放式任务设计可操作的评分量规？
说明如何把正确、完整、可执行等要求转成有证据的评分维度，设置分档锚点和硬性门槛，并校准人工与模型评分中的分歧和未知状态。
核心关键词AI Agent 开放式任务评分量规 rubric 设计 - 0119
用 LLM 合成 Agent 评估数据有哪些陷阱
围绕“用 LLM 合成 Agent 评估数据有哪些陷阱”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须指出分布偏窄、难度失真、标注噪声三类风险及人工抽检的必要性。
核心关键词Agent 合成评估数据 陷阱 - 0120
评估 AI Agent 时，任务成功率应该怎样定义和统计？
从一次试验的边界、实际产物和必要约束定义 Agent 成功率，说明分母、重试预算、部分完成、任务分层与环境失败如何影响指标解读。
核心关键词AI Agent 任务成功率定义与统计口径 - 0121
如何评估 AI Agent 工具调用的正确性
本题解释如何比对参考工具调用评估 Agent 正确性，涵盖参数顺序、等价调用、冗余调用处理，给出评分方法与误判边界。
核心关键词Agent 工具调用正确性 评估 tool call correctness - 0122
如何评估 Agent 在工具超时、报错、返回脏数据时的鲁棒性
围绕“如何评估 Agent 在工具超时、报错、返回脏数据时的鲁棒性”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明用故障注入构造异常返回、评估重试/降级/澄清行为是否正确的方案。
核心关键词Agent 工具故障 鲁棒性 故障注入评估 - 0123
如何区分 Agent 选错工具和工具选对但参数错误？
建立工具决策、参数结构、业务语义和执行结果的分层诊断方法，说明同一失败如何准确归因，以及多种有效工具路径和校验通过的边界。
核心关键词Agent 工具选择错误与参数错误评估 - 0124
什么是 AI Agent 的轨迹评估，轨迹中应记录哪些关键字段
本题给出轨迹评估的准确定义，说明必须捕获的字段清单及其用途，并强调轨迹记录是过程评估与错误归因的数据基础，但不展开具体打分算法。
核心关键词Agent 轨迹评估 trajectory 记录字段 - 0125
没有参考答案时如何评估 Agent 轨迹是否合理
围绕“没有参考答案时如何评估 Agent 轨迹是否合理”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须介绍用裁判模型按步骤合理性打分的方法及其局限。
核心关键词Agent 轨迹评估 无参考 reference-free - 0126
如何识别和衡量 AI Agent 的多余工具调用？
区分重复读取、必要验证、状态刷新与无效重试，从调用时的信息需求和实际产物判断冗余，结合任务成功率、耗时和成本改进工具使用。
核心关键词AI Agent 冗余工具调用检测与评估 - 0127
为什么 AI Agent 评估比单轮 LLM 回答评估更难？
从多步决策、工具环境、状态副作用与多条正确路径分析 Agent 评估难点，说明轨迹记录、环境重置和结果校验各自解决什么问题。
核心关键词AI Agent 评估与单轮 LLM 评估的区别 - 0128
限制 Agent 可行动作空间为什么通常提升可靠性？
围绕“限制 Agent 可行动作空间为什么通常提升可靠性”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明缩小动作空间降低误选概率与失去灵活性之间的取舍。
核心关键词agent action space 动作空间 约束 可靠性 - 0129
评估一个自主 Agent 的效果为什么不能只看最终答案正确率？
围绕“评估一个自主 Agent 的效果为什么不能只看最终答案正确率”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明需评估轨迹效率、工具使用合理性与成本等多维指标的理由。
核心关键词agent evaluation 评估 轨迹 过程指标 - 0130
Agent 的「观察—思考—行动」循环每一轮具体交换哪些信息？
解释 AI Agent 循环中的消息与状态流转：工具调用请求、执行结果、上下文整理和停止条件。结合代码修复场景，区分模型推理、宿主执行与权限校验。
核心关键词AI Agent 观察思考行动循环 - 0131
给 Agent 授予文件、网络等系统权限时应遵循什么最小化原则？
围绕“给 Agent 授予文件、网络等系统权限时应遵循什么最小化原则”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确按任务授予最小权限、隔离执行环境的判据。
核心关键词agent 权限最小化 沙箱 sandbox 安全 - 0132
自主 Agent 的终止条件应该如何设计才不会提前退出或死循环？
围绕“自主 Agent 的终止条件应该如何设计才不会提前退出或死循环”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须列出成功判据、步数上限、预算上限等多层终止信号。
核心关键词agent 终止条件 max iterations 死循环 - 0133
如何判定一个 AI 任务该用固定工作流还是自主 Agent？
从执行路径由谁决定入手，比较固定工作流和自主 Agent。结合工单处理场景，说明何时使用预设分支、何时需要动态规划，以及成本、反馈和失败处理的取舍。
核心关键词AI Agent 与工作流的区别和选型 - 0134
Augmented LLM 是什么，检索、工具和记忆分别增强什么能力？
解释增强型 LLM 的检索、工具和记忆如何影响信息获取、实际操作与跨轮状态，并区分能力增强、工作流控制和 Agent 自主决策。
核心关键词Augmented LLM 检索工具记忆三种增强能力 - 0135
Agent 自主性越高为什么越需要监督机制？
分析 AI Agent 自主执行与安全护栏的关系。以明确设定的售后场景说明工具权限、人工检查点、预算限制和环境反馈如何配合，并解释各层机制的能力边界。
核心关键词AI Agent 自主性与安全护栏 - 0136
如何让 Agent 在 token 或成本预算内自适应地决定探索深度？
围绕“如何让 Agent 在 token 或成本预算内自适应地决定探索深度”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确预算信号注入决策循环与降级策略的设计。
核心关键词agent 成本预算 token budget 自适应 深度 - 0137
用 LLM 输出驱动条件边跳转时如何保证路由结果可靠？
围绕“用 LLM 输出驱动条件边跳转时如何保证路由结果可靠”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出结构化输出约束与兜底分支的工程手段。
核心关键词conditional edge LLM 路由 结构化输出 可靠性 - 0138
长程自主循环中错误为什么会累积放大？
围绕“长程自主循环中错误为什么会累积放大”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释错误状态进入上下文后影响后续决策的机理。
核心关键词agent 错误累积 compounding error 长任务 - 0139
Evaluator-Optimizer 循环在什么条件下值得引入额外成本？
围绕“Evaluator-Optimizer 循环在什么条件下值得引入额外成本”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出存在明确评估标准且迭代能显著提升输出时的判断。
核心关键词evaluator optimizer 迭代优化 适用条件 - 0140
Agent 编排图为什么需要支持环（cycle）而不只是 DAG？
围绕“Agent 编排图为什么需要支持环（cycle）而不只是 DAG”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确反思、重试等迭代行为无法用无环图表达的原因。
核心关键词agent graph cycle 循环 DAG 反思迭代 - 0141
为什么 Agent 需要从环境获取真实反馈而不是只靠模型自我判断？
围绕“为什么 Agent 需要从环境获取真实反馈而不是只靠模型自我判断”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明模型自评的不可靠性与外部反馈的纠偏作用。
核心关键词agent grounding 环境反馈 自我评估 局限 - 0142
在 Agent 工作流中哪些决策点适合设置人工检查点？
围绕“在 Agent 工作流中哪些决策点适合设置人工检查点”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出以不可逆性、影响面为标准选择人工介入点的判断。
核心关键词human in the loop 检查点 高风险操作 审批 - 0143
为什么 Agent 的可重试工具应当设计成幂等的？
围绕“为什么 Agent 的可重试工具应当设计成幂等的”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释重试与检查点恢复导致重复调用时幂等的保护作用。
核心关键词agent 工具幂等 idempotent 重试 副作用 - 0144
如何用 LangSmith 诊断一个 LangGraph Agent 的异常行为？
围绕“如何用 LangSmith 诊断一个 LangGraph Agent 的异常行为”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确用 trace 定位具体节点输入输出的排查路径。
核心关键词LangGraph LangSmith 调试 trace 诊断 - 0145
LangGraph 的 durable execution 如何在 Agent 崩溃后恢复执行？
围绕“LangGraph 的 durable execution 如何在 Agent 崩溃后恢复执行”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释检查点持久化状态、从断点续跑的机制。
核心关键词LangGraph durable execution 持久化 恢复 - 0146
LangGraph 的 streaming 在 Agent 应用中用于暴露哪些中间过程？
围绕“LangGraph 的 streaming 在 Agent 应用中用于暴露哪些中间过程”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明流式暴露节点执行与 token 输出对可观测性的作用。
核心关键词LangGraph streaming 中间状态 流式输出 - 0147
LangGraph 为什么定位为底层编排框架而不是高抽象 Agent 封装？
围绕“LangGraph 为什么定位为底层编排框架而不是高抽象 Agent 封装”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明高抽象隐藏控制流导致难定制的痛点。
核心关键词LangGraph low-level orchestration 设计动机 - 0148
给 Agent 设置最大迭代次数时如何权衡任务完成率与成本？
围绕“给 Agent 设置最大迭代次数时如何权衡任务完成率与成本”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确上限过低截断任务、过高浪费 token 的双向代价及估算方法。
核心关键词agent 最大迭代次数 成本 完成率 权衡 - 0149
划分 Agent 图中节点的粒度时遵循什么原则？
围绕“划分 Agent 图中节点的粒度时遵循什么原则”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确以独立可测试、单一职责为界且避免过细的权衡。
核心关键词agent graph 节点粒度 划分原则 - 0150
设计 Agent 的「观察」时如何决定给模型看多少环境信息？
围绕“设计 Agent 的「观察」时如何决定给模型看多少环境信息”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确信息不足导致决策错误与信息过多稀释注意力的双向权衡。
核心关键词agent observation 设计 信息量 噪声 取舍