评估检索系统的 recall@k 怎么计算,分母应该是什么?
评估检索系统的 recall@k 怎么计算,分母应该是什么? 本文先给出可直接复述的结论,再用最小代码说明recall@k 召回率 检索评估 计算的工作方式、判断依据、项目边界和常见误区。
程序员面试题库第 12 页,收录第 551–600 题,共 5000 道完整解析,覆盖前端、JavaScript、React、Vue、Node.js、AI Agent、网络、数据库与系统设计。
按稳定语义路径排序
评估检索系统的 recall@k 怎么计算,分母应该是什么? 本文先给出可直接复述的结论,再用最小代码说明recall@k 召回率 检索评估 计算的工作方式、判断依据、项目边界和常见误区。
向量检索后再接一个重排序模型(reranker)解决了什么、引入了什么成本? 本文先给出可直接复述的结论,再用最小代码说明reranker 重排序 向量检索 两阶段的工作方式、判断依据、项目边界和常见误区。
为什么有些向量数据库返回的相似度分数不在 0 到 1 之间,如何解释? 本文先给出可直接复述的结论,再用最小代码说明相似度分数 范围 余弦 距离 解释的工作方式、判断依据、项目边界和常见误区。
RAG 检索中如何为相似度分数设定过滤阈值而不误伤召回? 本文先给出可直接复述的结论,再用最小代码说明相似度阈值 过滤 RAG 检索 设置的工作方式、判断依据、项目边界和常见误区。
用大模型自动生成检索评估问题再自动判相关性,有哪些系统性偏差? 本文先给出可直接复述的结论,再用最小代码说明合成评估数据 LLM 偏差 检索评估的工作方式、判断依据、项目边界和常见误区。
为什么表格和代码直接切块做嵌入检索效果差,有什么改进手段? 本文先给出可直接复述的结论,再用最小代码说明表格 代码 嵌入检索 切块 改进的工作方式、判断依据、项目边界和常见误区。
RAG 答案漏掉明显相关的文档,为什么首先要怀疑 top-k 和检索阶段而非生成模型? 本文先给出可直接复述的结论,再用最小代码说明top-k 召回遗漏 RAG 诊断的工作方式、判断依据、项目边界和常见误区。
跨语言检索场景下,先把查询翻译成文档语言再嵌入,和直接用多语言嵌入相比各有什么优劣? 本文先给出可直接复述的结论,再用最小代码说明查询翻译 多语言嵌入 跨语言检索 对比的工作方式、判断依据、项目边界和常见误区。
新 UI 或新助手上线首周效果应先跑 A/A 或延长观察来区分新奇效应吗? 本文先给出可直接复述的结论,再用最小代码说明A/A测试 新奇效应 首因效应 在线实验的工作方式、判断依据、项目边界和常见误区。
LLM 功能灰度 A/B 实验的主指标和护栏指标应怎样在实验前冻结? 本文先给出可直接复述的结论,再用最小代码说明A/B实验 主指标 护栏指标 LLM灰度的工作方式、判断依据、项目边界和常见误区。
标注预算有限时主动学习的不确定性采样应在什么时候停止? 本文先给出可直接复述的结论,再用最小代码说明主动学习 不确定性采样 标注预算 停止条件的工作方式、判断依据、项目边界和常见误区。
越狱鲁棒性评测与常规准确率评测应放在同一个离线分数里吗? 本文先给出可直接复述的结论,再用最小代码说明越狱鲁棒性 对抗评测 准确率 离线边界的工作方式、判断依据、项目边界和常见误区。
Agent 工具调用任务离线评测应记录哪些轨迹字段才能复盘失败原因? 本文先给出可直接复述的结论,再用最小代码说明Agent评测 工具调用 轨迹记录 失败诊断的工作方式、判断依据、项目边界和常见误区。
上线前怎样用标注指南和 Cohen/Fleiss kappa 判断标签定义是否足够清楚? 本文先给出可直接复述的结论,再用最小代码说明标注指南 Cohen kappa Fleiss kappa 标注一致性的工作方式、判断依据、项目边界和常见误区。
摘要生成离线评测为什么不能只凭 BLEU 或 ROUGE 判定上线? 本文先给出可直接复述的结论,再用最小代码说明BLEU ROUGE 生成评测 人工相关性 局限性的工作方式、判断依据、项目边界和常见误区。
风控概率输出部署前为什么既要看区分度也要看 Brier 分数和校准曲线? 本文先给出可直接复述的结论,再用最小代码说明概率校准 Brier分数 reliability曲线 风控模型评估的工作方式、判断依据、项目边界和常见误区。
怎样把混淆矩阵转换成可比较不同模型的期望误分类成本? 本文先给出可直接复述的结论,再用最小代码说明混淆矩阵 期望成本 误分类代价 模型评估的工作方式、判断依据、项目边界和常见误区。
团队评测算力有限时怎样设计分层 CI:快速 smoke、夜间全量和人工抽检? 本文先给出可直接复述的结论,再用最小代码说明评测预算 CI分层 smoke test 人工抽检的工作方式、判断依据、项目边界和常见误区。
招聘筛选模型中 demographic parity 与 equal opportunity 冲突时应怎样向业务解释? 本文先给出可直接复述的结论,再用最小代码说明公平性 demographic parity equal opportunity 评测解释的工作方式、判断依据、项目边界和常见误区。
特征工程阶段怎样识别“用了未来才知道的信息”导致的标签泄漏? 本文先给出可直接复述的结论,再用最小代码说明特征泄漏 未来信息 标签泄漏 point-in-time的工作方式、判断依据、项目边界和常见误区。
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本? 本文先给出可直接复述的结论,再用最小代码说明金标集 隐藏测试集 过拟合防护 prompt迭代的工作方式、判断依据、项目边界和常见误区。
开放问答的事实性评测应如何把“未回答”与“编造答案”分开计分? 本文先给出可直接复述的结论,再用最小代码说明事实性评测 幻觉 拒答计分 开放问答的工作方式、判断依据、项目边界和常见误区。
类别不均衡的文本分类为什么常同时报宏平均 F1 和微平均 F1? 本文先给出可直接复述的结论,再用最小代码说明类别不均衡 宏平均F1 微平均F1 评测指标的工作方式、判断依据、项目边界和常见误区。
排序系统在线评估中 interleaving 相比全量 A/B 何时更灵敏,何时不可用? 本文先给出可直接复述的结论,再用最小代码说明interleaving 排序实验 在线评估 敏感性对比的工作方式、判断依据、项目边界和常见误区。
多语言助手评测为什么要按语言和资源水平分层,而不是只报混合准确率? 本文先给出可直接复述的结论,再用最小代码说明多语言评测 低资源偏差 语言分层 公平性的工作方式、判断依据、项目边界和常见误区。
每天盯实验结果并在显著时提前停会怎样放大假阳性,应如何控制? 本文先给出可直接复述的结论,再用最小代码说明多重比较 序贯检验 假阳性 控制策略的工作方式、判断依据、项目边界和常见误区。
模型替换只要求不差于旧系统时应如何设定非劣效界值而不是追求显著更优? 本文先给出可直接复述的结论,再用最小代码说明非劣效实验 等效性检验 margin 设定的工作方式、判断依据、项目边界和常见误区。
离线评测集怎样证明覆盖了线上真实流量而不是只覆盖好标注的样本? 本文先给出可直接复述的结论,再用最小代码说明离线评测集 代表性 流量分布 覆盖偏差的工作方式、判断依据、项目边界和常见误区。
离线人工评分更高但线上留存下降时,应按什么顺序诊断指标错位? 本文先给出可直接复述的结论,再用最小代码说明离线在线不一致 指标错位 诊断流程的工作方式、判断依据、项目边界和常见误区。
多模型偏好投票为什么用 Bradley-Terry/Elo 聚合而不是直接数胜率? 本文先给出可直接复述的结论,再用最小代码说明成对偏好 Bradley-Terry Elo 模型排行 评测聚合的工作方式、判断依据、项目边界和常见误区。
罕见事件检测为什么优先看 PR-AUC 而不是 ROC-AUC? 本文先给出可直接复述的结论,再用最小代码说明PR-AUC ROC-AUC 罕见事件 评测指标对比的工作方式、判断依据、项目边界和常见误区。
在欺诈拦截里怎样用精确率、召回率和单次误伤成本决定分类阈值? 本文先给出可直接复述的结论,再用最小代码说明精确率 召回率 成本敏感 分类阈值 欺诈检测的工作方式、判断依据、项目边界和常见误区。
程序化弱监督标签进入训练前需要估计哪些噪声参数? 本文先给出可直接复述的结论,再用最小代码说明弱监督 程序化标注 标签噪声 评测参数估计的工作方式、判断依据、项目边界和常见误区。
同一语义指令改写成不同 prompt 后输出波动很大,离线评测应怎样量化鲁棒性? 本文先给出可直接复述的结论,再用最小代码说明prompt敏感性 扰动鲁棒性 语义保持改写 评测的工作方式、判断依据、项目边界和常见误区。
RAG 评测为什么要分别报告上下文命中率、引用忠实度和最终答案正确率? 本文先给出可直接复述的结论,再用最小代码说明RAG评测 context precision faithfulness 答案正确率的工作方式、判断依据、项目边界和常见误区。
用户之间会互相影响的推荐实验为什么不能按请求随机,而要按用户或集群随机? 本文先给出可直接复述的结论,再用最小代码说明随机化单位 用户级实验 集群随机 干扰偏差的工作方式、判断依据、项目边界和常见误区。
回归预测中 MAE、RMSE 和 MAPE 在零值、异常值场景下如何选型? 本文先给出可直接复述的结论,再用最小代码说明MAE RMSE MAPE 回归评测 异常值 零值场景的工作方式、判断依据、项目边界和常见误区。
搜索召回评测中 MRR、Recall@k 和 nDCG@k 分别适合什么目标边界? 本文先给出可直接复述的结论,再用最小代码说明MRR Recall@k nDCG@k 检索排序 评测指标边界的工作方式、判断依据、项目边界和常见误区。
安全评测怎样同时衡量有害请求拦截率和合理请求过度拒答率? 本文先给出可直接复述的结论,再用最小代码说明安全评测 过度拒答 over-refusal 有害请求拦截的工作方式、判断依据、项目边界和常见误区。
实验平台显示 50/50 分流却出现样本比例失衡 SRM 时第一步检查什么? 本文先给出可直接复述的结论,再用最小代码说明样本比例失衡 SRM 分流偏差 诊断的工作方式、判断依据、项目边界和常见误区。
BERTScore 或向量余弦相似度在哪些生成场景会高估答案质量? 本文先给出可直接复述的结论,再用最小代码说明BERTScore 语义相似度 生成评测 高估事实性的工作方式、判断依据、项目边界和常见误区。
整体指标提升但关键行业切片变差时应怎样设计分层评测报告? 本文先给出可直接复述的结论,再用最小代码说明分层评测 数据切片 关键群体 回归诊断的工作方式、判断依据、项目边界和常见误区。
需求预测或舆情分类做离线评估为什么不能随机切分时间样本? 本文先给出可直接复述的结论,再用最小代码说明时间切分 数据泄漏 随机切分 离线评估的工作方式、判断依据、项目边界和常见误区。
大模型评测发现分数异常高时如何排查训练集与测试集污染? 本文先给出可直接复述的结论,再用最小代码说明训练测试污染 数据泄漏 基准污染 去重的工作方式、判断依据、项目边界和常见误区。
为什么大语言模型做多步算术和长数字运算容易出错? 本文先给出可直接复述的结论,再用最小代码说明LLM 算术能力弱 原因 为何出错的工作方式、判断依据、项目边界和常见误区。
束搜索(beam search)和随机采样在文本生成上各适合什么场景? 本文先给出可直接复述的结论,再用最小代码说明束搜索 与 随机采样 文本生成区别的工作方式、判断依据、项目边界和常见误区。
让大模型先推理再作答(思维链)为什么能提升复杂题准确率,代价是什么? 本文先给出可直接复述的结论,再用最小代码说明思维链 权衡 生成质量与成本的工作方式、判断依据、项目边界和常见误区。
为什么大模型用自信的语气陈述错误内容,语气能否作为可信度信号? 本文先给出可直接复述的结论,再用最小代码说明LLM 自信但错误 语气可信度的工作方式、判断依据、项目边界和常见误区。
把全部资料塞进上下文和按需检索注入,面对大知识库应如何取舍? 本文先给出可直接复述的结论,再用最小代码说明长上下文 塞入资料 与 检索增强 取舍的工作方式、判断依据、项目边界和常见误区。
回答重点:上下文窗口同时约束输入与输出 token 总额,超过会产生 400 错误或停止生成;通过具体多轮对话场景说明历史、提示词和输出如何竞争有限空间,并解释溢出与精度衰减的边界。