LangSmith 中 dataset、experiment、evaluator 三个概念如何配合完成一次评估
LangSmith 中 dataset、experiment、evaluator 三个概念如何配合完成一次评估 本文先给出可直接复述的结论，再用最小代码说明LangSmith dataset experiment evaluator 评估流程的工作方式、判断依据、项目边界和常见误区。
核心关键词LangSmith dataset experiment evaluator 评估流程
面试知识索引 · 分类、标签与搜索
AI 评测专题面试题，47 道完整答案
AI 评测专题面试题第 1 页，显示第 1–47 题，共找到 47 道完整解析，可继续按分类、标签与关键词缩小范围。
47筛选结果
52技术分类
178检索标签
1索引分页
快速定位
清除全部筛选分类、标签与关键词搜索
技术分类52 个
全部分类5000AI Agent511浏览器301JavaScript285React281AI 开发262CSS240Node.js217TypeScript206Vue180前端工程化138React Native135
查看全部 52 个分类
热门标签178 个
查看其余 163 个标签
网络协议111测试109数据库事务95实时通信92Web 可访问性90动画79可观测性77Agent 记忆75向量检索66工具调用66LangGraph59Prompt56任务规划53排障与运维53数据库索引52浏览器自动化51Flexbox50值与类型50GraphQL49事务与并发49构建与镜像49DNS 与 TLS48工程协作与交付48CSS Grid47Express 服务47MCP47副作用与同步47向量与嵌入47文件与多媒体47流与二进制47传输与协议46列表与性能46可维护代码46响应式原理46容器运行46指标日志追踪46数据建模与运维46文件与 I/O46表单与输入46MCP 协议45RAG45Vite 与模块构建45Webpack45内存与虚拟化45原生集成45多 Agent45工作负载与发布45应用与性能45数据处理45模块与工具链45组件与模板45缓存与数据结构45网络与运维45评估与调试45身份认证与授权45运行时与开发45Web 系统方案44一致性与容错44侦听与生命周期44分布式使用44原生组件与交互44可访问交互44消息与异步处理44渲染与调度44索引与执行计划44组件设计44缓存与代理44进程与并发44层叠与选择器43攻击面与防御43文档数据库43权限与安全43离线与渐进增强43语义与文档43请求与通信 API43Worker 与线程协作42事件系统42存储与离线数据42服务架构42服务端与流式渲染42服务端工程42泛型设计42版本控制42类型收窄42类型运算42组件与端到端42编码与执行42进程与线程42DOM 与文档操作41Flex 布局41HTTP 语义41NestJS 架构41REST 与接口契约41SQL 查询41加载与交互性能41动画与视觉41类型工程41记忆与状态41运行时与调度41Agent 架构40WebAssembly 集成40单元与集成测试40多 Agent 协作40工作流编排40模块与语言机制40浏览器与 UI 自动化40生产运行40函数与作用域39响应式设计39性能与并发39类型系统基础39Grid 布局38数组与集合38盒模型与排版38Hooks 与复用37应用开发37推理与成本37状态共享37知识库数据37模型与应用评测36对象与原型35状态与渲染35语言与并发35异步与 Promise34Effect32RAG 检索31React 性能31响应式与性能31微调与数据31TanStack Query30全栈边界30数据与缓存30大模型基础29路由与数据流29事件循环28流式交互28提示与上下文设计27数据与服务端27组件与依赖注入27组件与响应式27多模态应用24应用与渲染24Hydration22沙箱安全22状态管理18算法18CI/CD13语言与运行时10React Server Components6搜索与排序4实用函数实现3链表栈队列3图算法2字符串算法2树与遍历2索引与高级结构2Kubernetes1作用域与函数1动态规划1异步与浏览器1手写与交互性能1数组与双指针1相等比较1
第 1 页
本页面试问题
按稳定语义路径排序
- 0001
- 0002
用 LLM 作为裁判评估 Agent 输出的基本做法与前提条件
用 LLM 作为裁判评估 Agent 输出的基本做法与前提条件 本文先给出可直接复述的结论，再用最小代码说明LLM as judge Agent 评估 前提的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM as judge Agent 评估 前提 - 0003
评估一个自主 Agent 的效果为什么不能只看最终答案正确率？
评估一个自主 Agent 的效果为什么不能只看最终答案正确率？ 本文先给出可直接复述的结论，再用最小代码说明agent evaluation 评估 轨迹 过程指标的工作方式、判断依据、项目边界和常见误区。
核心关键词agent evaluation 评估 轨迹 过程指标 - 0004
Evaluator-Optimizer 循环在什么条件下值得引入额外成本？
Evaluator-Optimizer 循环在什么条件下值得引入额外成本？ 本文先给出可直接复述的结论，再用最小代码说明evaluator optimizer 迭代优化 适用条件的工作方式、判断依据、项目边界和常见误区。
核心关键词evaluator optimizer 迭代优化 适用条件 - 0005
Evaluator-optimizer 循环里，评估 Agent 的拒绝标准写得太严或太松分别会导致什么后果？
Evaluator-optimizer 循环里，评估 Agent 的拒绝标准写得太严或太松分别会导致什么后果？ 本文先给出可直接复述的结论，再用最小代码说明evaluator optimizer 循环 评估标准的工作方式、判断依据、项目边界和常见误区。
核心关键词evaluator optimizer 循环 评估标准 - 0006
把自动化评测作为 Agent 变更上线门禁时，评测集和通过阈值如何设定才能挡住真实回退？
把自动化评测作为 Agent 变更上线门禁时，评测集和通过阈值如何设定才能挡住真实回退？ 本文先给出可直接复述的结论，再用最小代码说明Agent 评测 上线门禁 阈值的工作方式、判断依据、项目边界和常见误区。
核心关键词Agent 评测 上线门禁 阈值 - 0007
企业使用第三方模型 API 时，应如何确认用户数据不会被用于模型训练？
企业使用第三方模型 API 时，应如何确认用户数据不会被用于模型训练？ 本文先给出可直接复述的结论，再用最小代码说明第三方模型 API 数据不用于训练确认的工作方式、判断依据、项目边界和常见误区。
核心关键词第三方模型 API 数据不用于训练确认 - 0008
Anthropic 的 evaluator-optimizer 循环在 LangGraph 中如何落地成条件回路边，循环如何收敛终止？
Anthropic 的 evaluator-optimizer 循环在 LangGraph 中如何落地成条件回路边，循环如何收敛终止？ 本文先给出可直接复述的结论，再用最小代码说明evaluator-optimizer 循环 LangGraph 终止条件的工作方式、判断依据、项目边界和常见误区。
核心关键词evaluator-optimizer 循环 LangGraph 终止条件 - 0009
新 UI 或新助手上线首周效果应先跑 A/A 或延长观察来区分新奇效应吗？
新 UI 或新助手上线首周效果应先跑 A/A 或延长观察来区分新奇效应吗？ 本文先给出可直接复述的结论，再用最小代码说明A/A测试 新奇效应 首因效应 在线实验的工作方式、判断依据、项目边界和常见误区。
核心关键词A/A测试 新奇效应 首因效应 在线实验 - 0010
LLM 功能灰度 A/B 实验的主指标和护栏指标应怎样在实验前冻结？
LLM 功能灰度 A/B 实验的主指标和护栏指标应怎样在实验前冻结？ 本文先给出可直接复述的结论，再用最小代码说明A/B实验 主指标 护栏指标 LLM灰度的工作方式、判断依据、项目边界和常见误区。
核心关键词A/B实验 主指标 护栏指标 LLM灰度 - 0011
标注预算有限时主动学习的不确定性采样应在什么时候停止？
标注预算有限时主动学习的不确定性采样应在什么时候停止？ 本文先给出可直接复述的结论，再用最小代码说明主动学习 不确定性采样 标注预算 停止条件的工作方式、判断依据、项目边界和常见误区。
核心关键词主动学习 不确定性采样 标注预算 停止条件 - 0012
越狱鲁棒性评测与常规准确率评测应放在同一个离线分数里吗？
越狱鲁棒性评测与常规准确率评测应放在同一个离线分数里吗？ 本文先给出可直接复述的结论，再用最小代码说明越狱鲁棒性 对抗评测 准确率 离线边界的工作方式、判断依据、项目边界和常见误区。
核心关键词越狱鲁棒性 对抗评测 准确率 离线边界 - 0013
Agent 工具调用任务离线评测应记录哪些轨迹字段才能复盘失败原因？
Agent 工具调用任务离线评测应记录哪些轨迹字段才能复盘失败原因？ 本文先给出可直接复述的结论，再用最小代码说明Agent评测 工具调用 轨迹记录 失败诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词Agent评测 工具调用 轨迹记录 失败诊断 - 0014
上线前怎样用标注指南和 Cohen/Fleiss kappa 判断标签定义是否足够清楚？
上线前怎样用标注指南和 Cohen/Fleiss kappa 判断标签定义是否足够清楚？ 本文先给出可直接复述的结论，再用最小代码说明标注指南 Cohen kappa Fleiss kappa 标注一致性的工作方式、判断依据、项目边界和常见误区。
核心关键词标注指南 Cohen kappa Fleiss kappa 标注一致性 - 0015
摘要生成离线评测为什么不能只凭 BLEU 或 ROUGE 判定上线？
摘要生成离线评测为什么不能只凭 BLEU 或 ROUGE 判定上线？ 本文先给出可直接复述的结论，再用最小代码说明BLEU ROUGE 生成评测 人工相关性 局限性的工作方式、判断依据、项目边界和常见误区。
核心关键词BLEU ROUGE 生成评测 人工相关性 局限性 - 0016
风控概率输出部署前为什么既要看区分度也要看 Brier 分数和校准曲线？
风控概率输出部署前为什么既要看区分度也要看 Brier 分数和校准曲线？ 本文先给出可直接复述的结论，再用最小代码说明概率校准 Brier分数 reliability曲线 风控模型评估的工作方式、判断依据、项目边界和常见误区。
核心关键词概率校准 Brier分数 reliability曲线 风控模型评估 - 0017
怎样把混淆矩阵转换成可比较不同模型的期望误分类成本？
怎样把混淆矩阵转换成可比较不同模型的期望误分类成本？ 本文先给出可直接复述的结论，再用最小代码说明混淆矩阵 期望成本 误分类代价 模型评估的工作方式、判断依据、项目边界和常见误区。
核心关键词混淆矩阵 期望成本 误分类代价 模型评估 - 0018
团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检？
团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检？ 本文先给出可直接复述的结论，再用最小代码说明评测预算 CI分层 smoke test 人工抽检的工作方式、判断依据、项目边界和常见误区。
核心关键词评测预算 CI分层 smoke test 人工抽检 - 0019
招聘筛选模型中 demographic parity 与 equal opportunity 冲突时应怎样向业务解释？
招聘筛选模型中 demographic parity 与 equal opportunity 冲突时应怎样向业务解释？ 本文先给出可直接复述的结论，再用最小代码说明公平性 demographic parity equal opportunity 评测解释的工作方式、判断依据、项目边界和常见误区。
核心关键词公平性 demographic parity equal opportunity 评测解释 - 0020
特征工程阶段怎样识别“用了未来才知道的信息”导致的标签泄漏？
特征工程阶段怎样识别“用了未来才知道的信息”导致的标签泄漏？ 本文先给出可直接复述的结论，再用最小代码说明特征泄漏 未来信息 标签泄漏 point-in-time的工作方式、判断依据、项目边界和常见误区。
核心关键词特征泄漏 未来信息 标签泄漏 point-in-time - 0021
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？ 本文先给出可直接复述的结论，再用最小代码说明金标集 隐藏测试集 过拟合防护 prompt迭代的工作方式、判断依据、项目边界和常见误区。
核心关键词金标集 隐藏测试集 过拟合防护 prompt迭代 - 0022
开放问答的事实性评测应如何把“未回答”与“编造答案”分开计分？
开放问答的事实性评测应如何把“未回答”与“编造答案”分开计分？ 本文先给出可直接复述的结论，再用最小代码说明事实性评测 幻觉 拒答计分 开放问答的工作方式、判断依据、项目边界和常见误区。
核心关键词事实性评测 幻觉 拒答计分 开放问答 - 0023
类别不均衡的文本分类为什么常同时报宏平均 F1 和微平均 F1？
类别不均衡的文本分类为什么常同时报宏平均 F1 和微平均 F1？ 本文先给出可直接复述的结论，再用最小代码说明类别不均衡 宏平均F1 微平均F1 评测指标的工作方式、判断依据、项目边界和常见误区。
核心关键词类别不均衡 宏平均F1 微平均F1 评测指标 - 0024
排序系统在线评估中 interleaving 相比全量 A/B 何时更灵敏，何时不可用？
排序系统在线评估中 interleaving 相比全量 A/B 何时更灵敏，何时不可用？ 本文先给出可直接复述的结论，再用最小代码说明interleaving 排序实验 在线评估 敏感性对比的工作方式、判断依据、项目边界和常见误区。
核心关键词interleaving 排序实验 在线评估 敏感性对比 - 0025
多语言助手评测为什么要按语言和资源水平分层，而不是只报混合准确率？
多语言助手评测为什么要按语言和资源水平分层，而不是只报混合准确率？ 本文先给出可直接复述的结论，再用最小代码说明多语言评测 低资源偏差 语言分层 公平性的工作方式、判断依据、项目边界和常见误区。
核心关键词多语言评测 低资源偏差 语言分层 公平性 - 0026
每天盯实验结果并在显著时提前停会怎样放大假阳性，应如何控制？
每天盯实验结果并在显著时提前停会怎样放大假阳性，应如何控制？ 本文先给出可直接复述的结论，再用最小代码说明多重比较 序贯检验 假阳性 控制策略的工作方式、判断依据、项目边界和常见误区。
核心关键词多重比较 序贯检验 假阳性 控制策略 - 0027
模型替换只要求不差于旧系统时应如何设定非劣效界值而不是追求显著更优？
模型替换只要求不差于旧系统时应如何设定非劣效界值而不是追求显著更优？ 本文先给出可直接复述的结论，再用最小代码说明非劣效实验 等效性检验 margin 设定的工作方式、判断依据、项目边界和常见误区。
核心关键词非劣效实验 等效性检验 margin 设定 - 0028
离线评测集怎样证明覆盖了线上真实流量而不是只覆盖好标注的样本？
离线评测集怎样证明覆盖了线上真实流量而不是只覆盖好标注的样本？ 本文先给出可直接复述的结论，再用最小代码说明离线评测集 代表性 流量分布 覆盖偏差的工作方式、判断依据、项目边界和常见误区。
核心关键词离线评测集 代表性 流量分布 覆盖偏差 - 0029
离线人工评分更高但线上留存下降时，应按什么顺序诊断指标错位？
离线人工评分更高但线上留存下降时，应按什么顺序诊断指标错位？ 本文先给出可直接复述的结论，再用最小代码说明离线在线不一致 指标错位 诊断流程的工作方式、判断依据、项目边界和常见误区。
核心关键词离线在线不一致 指标错位 诊断流程 - 0030
多模型偏好投票为什么用 Bradley-Terry/Elo 聚合而不是直接数胜率？
多模型偏好投票为什么用 Bradley-Terry/Elo 聚合而不是直接数胜率？ 本文先给出可直接复述的结论，再用最小代码说明成对偏好 Bradley-Terry Elo 模型排行 评测聚合的工作方式、判断依据、项目边界和常见误区。
核心关键词成对偏好 Bradley-Terry Elo 模型排行 评测聚合 - 0031
罕见事件检测为什么优先看 PR-AUC 而不是 ROC-AUC？
罕见事件检测为什么优先看 PR-AUC 而不是 ROC-AUC？ 本文先给出可直接复述的结论，再用最小代码说明PR-AUC ROC-AUC 罕见事件 评测指标对比的工作方式、判断依据、项目边界和常见误区。
核心关键词PR-AUC ROC-AUC 罕见事件 评测指标对比 - 0032
在欺诈拦截里怎样用精确率、召回率和单次误伤成本决定分类阈值？
在欺诈拦截里怎样用精确率、召回率和单次误伤成本决定分类阈值？ 本文先给出可直接复述的结论，再用最小代码说明精确率 召回率 成本敏感 分类阈值 欺诈检测的工作方式、判断依据、项目边界和常见误区。
核心关键词精确率 召回率 成本敏感 分类阈值 欺诈检测 - 0033
程序化弱监督标签进入训练前需要估计哪些噪声参数？
程序化弱监督标签进入训练前需要估计哪些噪声参数？ 本文先给出可直接复述的结论，再用最小代码说明弱监督 程序化标注 标签噪声 评测参数估计的工作方式、判断依据、项目边界和常见误区。
核心关键词弱监督 程序化标注 标签噪声 评测参数估计 - 0034
同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性？
同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性？ 本文先给出可直接复述的结论，再用最小代码说明prompt敏感性 扰动鲁棒性 语义保持改写 评测的工作方式、判断依据、项目边界和常见误区。
核心关键词prompt敏感性 扰动鲁棒性 语义保持改写 评测 - 0035
RAG 评测为什么要分别报告上下文命中率、引用忠实度和最终答案正确率？
RAG 评测为什么要分别报告上下文命中率、引用忠实度和最终答案正确率？ 本文先给出可直接复述的结论，再用最小代码说明RAG评测 context precision faithfulness 答案正确率的工作方式、判断依据、项目边界和常见误区。
核心关键词RAG评测 context precision faithfulness 答案正确率 - 0036
用户之间会互相影响的推荐实验为什么不能按请求随机，而要按用户或集群随机？
用户之间会互相影响的推荐实验为什么不能按请求随机，而要按用户或集群随机？ 本文先给出可直接复述的结论，再用最小代码说明随机化单位 用户级实验 集群随机 干扰偏差的工作方式、判断依据、项目边界和常见误区。
核心关键词随机化单位 用户级实验 集群随机 干扰偏差 - 0037
回归预测中 MAE、RMSE 和 MAPE 在零值、异常值场景下如何选型？
回归预测中 MAE、RMSE 和 MAPE 在零值、异常值场景下如何选型？ 本文先给出可直接复述的结论，再用最小代码说明MAE RMSE MAPE 回归评测 异常值 零值场景的工作方式、判断依据、项目边界和常见误区。
核心关键词MAE RMSE MAPE 回归评测 异常值 零值场景 - 0038
搜索召回评测中 MRR、Recall@k 和 nDCG@k 分别适合什么目标边界？
搜索召回评测中 MRR、Recall@k 和 nDCG@k 分别适合什么目标边界？ 本文先给出可直接复述的结论，再用最小代码说明MRR Recall@k nDCG@k 检索排序 评测指标边界的工作方式、判断依据、项目边界和常见误区。
核心关键词MRR Recall@k nDCG@k 检索排序 评测指标边界 - 0039
安全评测怎样同时衡量有害请求拦截率和合理请求过度拒答率？
安全评测怎样同时衡量有害请求拦截率和合理请求过度拒答率？ 本文先给出可直接复述的结论，再用最小代码说明安全评测 过度拒答 over-refusal 有害请求拦截的工作方式、判断依据、项目边界和常见误区。
核心关键词安全评测 过度拒答 over-refusal 有害请求拦截 - 0040
实验平台显示 50/50 分流却出现样本比例失衡 SRM 时第一步检查什么？
实验平台显示 50/50 分流却出现样本比例失衡 SRM 时第一步检查什么？ 本文先给出可直接复述的结论，再用最小代码说明样本比例失衡 SRM 分流偏差 诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词样本比例失衡 SRM 分流偏差 诊断 - 0041
BERTScore 或向量余弦相似度在哪些生成场景会高估答案质量？
BERTScore 或向量余弦相似度在哪些生成场景会高估答案质量？ 本文先给出可直接复述的结论，再用最小代码说明BERTScore 语义相似度 生成评测 高估事实性的工作方式、判断依据、项目边界和常见误区。
核心关键词BERTScore 语义相似度 生成评测 高估事实性 - 0042
整体指标提升但关键行业切片变差时应怎样设计分层评测报告？
整体指标提升但关键行业切片变差时应怎样设计分层评测报告？ 本文先给出可直接复述的结论，再用最小代码说明分层评测 数据切片 关键群体 回归诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词分层评测 数据切片 关键群体 回归诊断 - 0043
需求预测或舆情分类做离线评估为什么不能随机切分时间样本？
需求预测或舆情分类做离线评估为什么不能随机切分时间样本？ 本文先给出可直接复述的结论，再用最小代码说明时间切分 数据泄漏 随机切分 离线评估的工作方式、判断依据、项目边界和常见误区。
核心关键词时间切分 数据泄漏 随机切分 离线评估 - 0044
大模型评测发现分数异常高时如何排查训练集与测试集污染？
大模型评测发现分数异常高时如何排查训练集与测试集污染？ 本文先给出可直接复述的结论，再用最小代码说明训练测试污染 数据泄漏 基准污染 去重的工作方式、判断依据、项目边界和常见误区。
核心关键词训练测试污染 数据泄漏 基准污染 去重 - 0045
Redis Cell 模块的 CL.THROTTLE 命令实现了哪种限流算法，它的参数分别控制什么？
Redis Cell 模块的 CL.THROTTLE 命令实现了哪种限流算法，它的参数分别控制什么？ 本文先给出可直接复述的结论，再用最小代码说明Redis Cell CL.THROTTLE 漏桶限流的工作方式、判断依据、项目边界和常见误区。
核心关键词Redis Cell CL.THROTTLE 漏桶限流 - 0046
为什么 CSP 中的 unsafe-inline 和 unsafe-eval 会大幅削弱 XSS 防御？
为什么 CSP 中的 unsafe-inline 和 unsafe-eval 会大幅削弱 XSS 防御？ 本文先给出可直接复述的结论，再用最小代码说明CSP unsafe-inline unsafe-eval 风险的工作方式、判断依据、项目边界和常见误区。
核心关键词CSP unsafe-inline unsafe-eval 风险 - 0047
Webpack devtool 各取值（eval、cheap、source-map）在构建速度和调试质量上如何取舍？
Webpack devtool 各取值（eval、cheap、source-map）在构建速度和调试质量上如何取舍？ 本文先给出可直接复述的结论，再用最小代码说明webpack devtool source map 选择的工作方式、判断依据、项目边界和常见误区。
核心关键词webpack devtool source map 选择