越狱鲁棒性评测与常规准确率评测应放在同一个离线分数里吗？
越狱鲁棒性评测与常规准确率评测应放在同一个离线分数里吗？ 本文先给出可直接复述的结论，再用最小代码说明越狱鲁棒性 对抗评测 准确率 离线边界的工作方式、判断依据、项目边界和常见误区。
核心关键词越狱鲁棒性 对抗评测 准确率 离线边界
面试知识索引 · 分类、标签与搜索
AI 开发面试题，262 道完整答案
AI 开发面试题第 2 页，显示第 51–100 题，共找到 262 道完整解析，可继续按分类、标签与关键词缩小范围。
262筛选结果
52技术分类
178检索标签
6索引分页
快速定位
清除全部筛选分类、标签与关键词搜索
第 2 页
本页面试问题
按稳定语义路径排序
- 0051
- 0052
Agent 工具调用任务离线评测应记录哪些轨迹字段才能复盘失败原因？
Agent 工具调用任务离线评测应记录哪些轨迹字段才能复盘失败原因？ 本文先给出可直接复述的结论，再用最小代码说明Agent评测 工具调用 轨迹记录 失败诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词Agent评测 工具调用 轨迹记录 失败诊断 - 0053
上线前怎样用标注指南和 Cohen/Fleiss kappa 判断标签定义是否足够清楚？
上线前怎样用标注指南和 Cohen/Fleiss kappa 判断标签定义是否足够清楚？ 本文先给出可直接复述的结论，再用最小代码说明标注指南 Cohen kappa Fleiss kappa 标注一致性的工作方式、判断依据、项目边界和常见误区。
核心关键词标注指南 Cohen kappa Fleiss kappa 标注一致性 - 0054
摘要生成离线评测为什么不能只凭 BLEU 或 ROUGE 判定上线？
摘要生成离线评测为什么不能只凭 BLEU 或 ROUGE 判定上线？ 本文先给出可直接复述的结论，再用最小代码说明BLEU ROUGE 生成评测 人工相关性 局限性的工作方式、判断依据、项目边界和常见误区。
核心关键词BLEU ROUGE 生成评测 人工相关性 局限性 - 0055
风控概率输出部署前为什么既要看区分度也要看 Brier 分数和校准曲线？
风控概率输出部署前为什么既要看区分度也要看 Brier 分数和校准曲线？ 本文先给出可直接复述的结论，再用最小代码说明概率校准 Brier分数 reliability曲线 风控模型评估的工作方式、判断依据、项目边界和常见误区。
核心关键词概率校准 Brier分数 reliability曲线 风控模型评估 - 0056
怎样把混淆矩阵转换成可比较不同模型的期望误分类成本？
怎样把混淆矩阵转换成可比较不同模型的期望误分类成本？ 本文先给出可直接复述的结论，再用最小代码说明混淆矩阵 期望成本 误分类代价 模型评估的工作方式、判断依据、项目边界和常见误区。
核心关键词混淆矩阵 期望成本 误分类代价 模型评估 - 0057
团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检？
团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检？ 本文先给出可直接复述的结论，再用最小代码说明评测预算 CI分层 smoke test 人工抽检的工作方式、判断依据、项目边界和常见误区。
核心关键词评测预算 CI分层 smoke test 人工抽检 - 0058
招聘筛选模型中 demographic parity 与 equal opportunity 冲突时应怎样向业务解释？
招聘筛选模型中 demographic parity 与 equal opportunity 冲突时应怎样向业务解释？ 本文先给出可直接复述的结论，再用最小代码说明公平性 demographic parity equal opportunity 评测解释的工作方式、判断依据、项目边界和常见误区。
核心关键词公平性 demographic parity equal opportunity 评测解释 - 0059
特征工程阶段怎样识别“用了未来才知道的信息”导致的标签泄漏？
特征工程阶段怎样识别“用了未来才知道的信息”导致的标签泄漏？ 本文先给出可直接复述的结论，再用最小代码说明特征泄漏 未来信息 标签泄漏 point-in-time的工作方式、判断依据、项目边界和常见误区。
核心关键词特征泄漏 未来信息 标签泄漏 point-in-time - 0060
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？ 本文先给出可直接复述的结论，再用最小代码说明金标集 隐藏测试集 过拟合防护 prompt迭代的工作方式、判断依据、项目边界和常见误区。
核心关键词金标集 隐藏测试集 过拟合防护 prompt迭代 - 0061
开放问答的事实性评测应如何把“未回答”与“编造答案”分开计分？
开放问答的事实性评测应如何把“未回答”与“编造答案”分开计分？ 本文先给出可直接复述的结论，再用最小代码说明事实性评测 幻觉 拒答计分 开放问答的工作方式、判断依据、项目边界和常见误区。
核心关键词事实性评测 幻觉 拒答计分 开放问答 - 0062
类别不均衡的文本分类为什么常同时报宏平均 F1 和微平均 F1？
类别不均衡的文本分类为什么常同时报宏平均 F1 和微平均 F1？ 本文先给出可直接复述的结论，再用最小代码说明类别不均衡 宏平均F1 微平均F1 评测指标的工作方式、判断依据、项目边界和常见误区。
核心关键词类别不均衡 宏平均F1 微平均F1 评测指标 - 0063
排序系统在线评估中 interleaving 相比全量 A/B 何时更灵敏，何时不可用？
排序系统在线评估中 interleaving 相比全量 A/B 何时更灵敏，何时不可用？ 本文先给出可直接复述的结论，再用最小代码说明interleaving 排序实验 在线评估 敏感性对比的工作方式、判断依据、项目边界和常见误区。
核心关键词interleaving 排序实验 在线评估 敏感性对比 - 0064
多语言助手评测为什么要按语言和资源水平分层，而不是只报混合准确率？
多语言助手评测为什么要按语言和资源水平分层，而不是只报混合准确率？ 本文先给出可直接复述的结论，再用最小代码说明多语言评测 低资源偏差 语言分层 公平性的工作方式、判断依据、项目边界和常见误区。
核心关键词多语言评测 低资源偏差 语言分层 公平性 - 0065
每天盯实验结果并在显著时提前停会怎样放大假阳性，应如何控制？
每天盯实验结果并在显著时提前停会怎样放大假阳性，应如何控制？ 本文先给出可直接复述的结论，再用最小代码说明多重比较 序贯检验 假阳性 控制策略的工作方式、判断依据、项目边界和常见误区。
核心关键词多重比较 序贯检验 假阳性 控制策略 - 0066
模型替换只要求不差于旧系统时应如何设定非劣效界值而不是追求显著更优？
模型替换只要求不差于旧系统时应如何设定非劣效界值而不是追求显著更优？ 本文先给出可直接复述的结论，再用最小代码说明非劣效实验 等效性检验 margin 设定的工作方式、判断依据、项目边界和常见误区。
核心关键词非劣效实验 等效性检验 margin 设定 - 0067
离线评测集怎样证明覆盖了线上真实流量而不是只覆盖好标注的样本？
离线评测集怎样证明覆盖了线上真实流量而不是只覆盖好标注的样本？ 本文先给出可直接复述的结论，再用最小代码说明离线评测集 代表性 流量分布 覆盖偏差的工作方式、判断依据、项目边界和常见误区。
核心关键词离线评测集 代表性 流量分布 覆盖偏差 - 0068
离线人工评分更高但线上留存下降时，应按什么顺序诊断指标错位？
离线人工评分更高但线上留存下降时，应按什么顺序诊断指标错位？ 本文先给出可直接复述的结论，再用最小代码说明离线在线不一致 指标错位 诊断流程的工作方式、判断依据、项目边界和常见误区。
核心关键词离线在线不一致 指标错位 诊断流程 - 0069
多模型偏好投票为什么用 Bradley-Terry/Elo 聚合而不是直接数胜率？
多模型偏好投票为什么用 Bradley-Terry/Elo 聚合而不是直接数胜率？ 本文先给出可直接复述的结论，再用最小代码说明成对偏好 Bradley-Terry Elo 模型排行 评测聚合的工作方式、判断依据、项目边界和常见误区。
核心关键词成对偏好 Bradley-Terry Elo 模型排行 评测聚合 - 0070
罕见事件检测为什么优先看 PR-AUC 而不是 ROC-AUC？
罕见事件检测为什么优先看 PR-AUC 而不是 ROC-AUC？ 本文先给出可直接复述的结论，再用最小代码说明PR-AUC ROC-AUC 罕见事件 评测指标对比的工作方式、判断依据、项目边界和常见误区。
核心关键词PR-AUC ROC-AUC 罕见事件 评测指标对比 - 0071
在欺诈拦截里怎样用精确率、召回率和单次误伤成本决定分类阈值？
在欺诈拦截里怎样用精确率、召回率和单次误伤成本决定分类阈值？ 本文先给出可直接复述的结论，再用最小代码说明精确率 召回率 成本敏感 分类阈值 欺诈检测的工作方式、判断依据、项目边界和常见误区。
核心关键词精确率 召回率 成本敏感 分类阈值 欺诈检测 - 0072
程序化弱监督标签进入训练前需要估计哪些噪声参数？
程序化弱监督标签进入训练前需要估计哪些噪声参数？ 本文先给出可直接复述的结论，再用最小代码说明弱监督 程序化标注 标签噪声 评测参数估计的工作方式、判断依据、项目边界和常见误区。
核心关键词弱监督 程序化标注 标签噪声 评测参数估计 - 0073
同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性？
同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性？ 本文先给出可直接复述的结论，再用最小代码说明prompt敏感性 扰动鲁棒性 语义保持改写 评测的工作方式、判断依据、项目边界和常见误区。
核心关键词prompt敏感性 扰动鲁棒性 语义保持改写 评测 - 0074
RAG 评测为什么要分别报告上下文命中率、引用忠实度和最终答案正确率？
RAG 评测为什么要分别报告上下文命中率、引用忠实度和最终答案正确率？ 本文先给出可直接复述的结论，再用最小代码说明RAG评测 context precision faithfulness 答案正确率的工作方式、判断依据、项目边界和常见误区。
核心关键词RAG评测 context precision faithfulness 答案正确率 - 0075
用户之间会互相影响的推荐实验为什么不能按请求随机，而要按用户或集群随机？
用户之间会互相影响的推荐实验为什么不能按请求随机，而要按用户或集群随机？ 本文先给出可直接复述的结论，再用最小代码说明随机化单位 用户级实验 集群随机 干扰偏差的工作方式、判断依据、项目边界和常见误区。
核心关键词随机化单位 用户级实验 集群随机 干扰偏差 - 0076
回归预测中 MAE、RMSE 和 MAPE 在零值、异常值场景下如何选型？
回归预测中 MAE、RMSE 和 MAPE 在零值、异常值场景下如何选型？ 本文先给出可直接复述的结论，再用最小代码说明MAE RMSE MAPE 回归评测 异常值 零值场景的工作方式、判断依据、项目边界和常见误区。
核心关键词MAE RMSE MAPE 回归评测 异常值 零值场景 - 0077
搜索召回评测中 MRR、Recall@k 和 nDCG@k 分别适合什么目标边界？
搜索召回评测中 MRR、Recall@k 和 nDCG@k 分别适合什么目标边界？ 本文先给出可直接复述的结论，再用最小代码说明MRR Recall@k nDCG@k 检索排序 评测指标边界的工作方式、判断依据、项目边界和常见误区。
核心关键词MRR Recall@k nDCG@k 检索排序 评测指标边界 - 0078
安全评测怎样同时衡量有害请求拦截率和合理请求过度拒答率？
安全评测怎样同时衡量有害请求拦截率和合理请求过度拒答率？ 本文先给出可直接复述的结论，再用最小代码说明安全评测 过度拒答 over-refusal 有害请求拦截的工作方式、判断依据、项目边界和常见误区。
核心关键词安全评测 过度拒答 over-refusal 有害请求拦截 - 0079
实验平台显示 50/50 分流却出现样本比例失衡 SRM 时第一步检查什么？
实验平台显示 50/50 分流却出现样本比例失衡 SRM 时第一步检查什么？ 本文先给出可直接复述的结论，再用最小代码说明样本比例失衡 SRM 分流偏差 诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词样本比例失衡 SRM 分流偏差 诊断 - 0080
BERTScore 或向量余弦相似度在哪些生成场景会高估答案质量？
BERTScore 或向量余弦相似度在哪些生成场景会高估答案质量？ 本文先给出可直接复述的结论，再用最小代码说明BERTScore 语义相似度 生成评测 高估事实性的工作方式、判断依据、项目边界和常见误区。
核心关键词BERTScore 语义相似度 生成评测 高估事实性 - 0081
整体指标提升但关键行业切片变差时应怎样设计分层评测报告？
整体指标提升但关键行业切片变差时应怎样设计分层评测报告？ 本文先给出可直接复述的结论，再用最小代码说明分层评测 数据切片 关键群体 回归诊断的工作方式、判断依据、项目边界和常见误区。
核心关键词分层评测 数据切片 关键群体 回归诊断 - 0082
需求预测或舆情分类做离线评估为什么不能随机切分时间样本？
需求预测或舆情分类做离线评估为什么不能随机切分时间样本？ 本文先给出可直接复述的结论，再用最小代码说明时间切分 数据泄漏 随机切分 离线评估的工作方式、判断依据、项目边界和常见误区。
核心关键词时间切分 数据泄漏 随机切分 离线评估 - 0083
大模型评测发现分数异常高时如何排查训练集与测试集污染？
大模型评测发现分数异常高时如何排查训练集与测试集污染？ 本文先给出可直接复述的结论，再用最小代码说明训练测试污染 数据泄漏 基准污染 去重的工作方式、判断依据、项目边界和常见误区。
核心关键词训练测试污染 数据泄漏 基准污染 去重 - 0084
为什么大语言模型做多步算术和长数字运算容易出错？
为什么大语言模型做多步算术和长数字运算容易出错？ 本文先给出可直接复述的结论，再用最小代码说明LLM 算术能力弱 原因 为何出错的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM 算术能力弱 原因 为何出错 - 0085
束搜索（beam search）和随机采样在文本生成上各适合什么场景？
束搜索（beam search）和随机采样在文本生成上各适合什么场景？ 本文先给出可直接复述的结论，再用最小代码说明束搜索 与 随机采样 文本生成区别的工作方式、判断依据、项目边界和常见误区。
核心关键词束搜索 与 随机采样 文本生成区别 - 0086
让大模型先推理再作答（思维链）为什么能提升复杂题准确率，代价是什么？
让大模型先推理再作答（思维链）为什么能提升复杂题准确率，代价是什么？ 本文先给出可直接复述的结论，再用最小代码说明思维链 权衡 生成质量与成本的工作方式、判断依据、项目边界和常见误区。
核心关键词思维链 权衡 生成质量与成本 - 0087
为什么大模型用自信的语气陈述错误内容，语气能否作为可信度信号？
为什么大模型用自信的语气陈述错误内容，语气能否作为可信度信号？ 本文先给出可直接复述的结论，再用最小代码说明LLM 自信但错误 语气可信度的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM 自信但错误 语气可信度 - 0088
把全部资料塞进上下文和按需检索注入，面对大知识库应如何取舍？
把全部资料塞进上下文和按需检索注入，面对大知识库应如何取舍？ 本文先给出可直接复述的结论，再用最小代码说明长上下文 塞入资料 与 检索增强 取舍的工作方式、判断依据、项目边界和常见误区。
核心关键词长上下文 塞入资料 与 检索增强 取舍 - 0089
什么是大模型的上下文窗口，它如何限制一次请求能处理的内容？
回答重点：上下文窗口同时约束输入与输出 token 总额，超过会产生 400 错误或停止生成；通过具体多轮对话场景说明历史、提示词和输出如何竞争有限空间，并解释溢出与精度衰减的边界。
核心关键词LLM context window 上下文窗口 限制 - 0090
用大模型做文本分类时，如何保证输出只落在预定义标签集合内？
用大模型做文本分类时，如何保证输出只落在预定义标签集合内？ 本文先给出可直接复述的结论，再用最小代码说明文本分类 枚举输出 约束解码的工作方式、判断依据、项目边界和常见误区。
核心关键词文本分类 枚举输出 约束解码 - 0091
少样本提示（few-shot）为什么能在不更新权重的情况下改变模型行为？
少样本提示（few-shot）为什么能在不更新权重的情况下改变模型行为？ 本文先给出可直接复述的结论，再用最小代码说明少样本学习 上下文学习 无需更新权重的工作方式、判断依据、项目边界和常见误区。
核心关键词少样本学习 上下文学习 无需更新权重 - 0092
什么是大模型幻觉，事实性幻觉和指令遵循失败是一回事吗？
什么是大模型幻觉，事实性幻觉和指令遵循失败是一回事吗？ 本文先给出可直接复述的结论，再用最小代码说明LLM hallucination 幻觉 类型的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM hallucination 幻觉 类型 - 0093
如何通过多次采样或自我一致性检查来发现大模型的幻觉输出？
如何通过多次采样或自我一致性检查来发现大模型的幻觉输出？ 本文先给出可直接复述的结论，再用最小代码说明幻觉检测 self-consistency 多次采样的工作方式、判断依据、项目边界和常见误区。
核心关键词幻觉检测 self-consistency 多次采样 - 0094
大模型输出的 JSON 解析失败时，工程上有哪些修复与容错策略？
大模型输出的 JSON 解析失败时，工程上有哪些修复与容错策略？ 本文先给出可直接复述的结论，再用最小代码说明JSON 解析失败 工程修复 重试策略的工作方式、判断依据、项目边界和常见误区。
核心关键词JSON 解析失败 工程修复 重试策略 - 0095
大模型的知识截止日期对回答时效性问题意味着什么？
大模型的知识截止日期对回答时效性问题意味着什么？ 本文先给出可直接复述的结论，再用最小代码说明知识截止 时效性 问答边界的工作方式、判断依据、项目边界和常见误区。
核心关键词知识截止 时效性 问答边界 - 0096
大模型输出的 logits 是什么，如何从中解读模型对每个 token 的置信程度？
大模型输出的 logits 是什么，如何从中解读模型对每个 token 的置信程度？ 本文先给出可直接复述的结论，再用最小代码说明LLM logits logprobs 置信度的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM logits logprobs 置信度 - 0097
为什么大模型在长上下文中间位置的信息容易被忽略（lost in the middle）？
为什么大模型在长上下文中间位置的信息容易被忽略（lost in the middle）？ 本文先给出可直接复述的结论，再用最小代码说明长上下文 中间信息丢失 lost in the middle的工作方式、判断依据、项目边界和常见误区。
核心关键词长上下文 中间信息丢失 lost in the middle - 0098
max_tokens 参数控制的是什么，设置过小会导致什么问题？
max_tokens 参数控制的是什么，设置过小会导致什么问题？ 本文先给出可直接复述的结论，再用最小代码说明max_tokens 最大输出长度 截断的工作方式、判断依据、项目边界和常见误区。
核心关键词max_tokens 最大输出长度 截断 - 0099
为什么默认的大模型 API 调用不能访问实时网页、文件或执行动作？
为什么默认的大模型 API 调用不能访问实时网页、文件或执行动作？ 本文先给出可直接复述的结论，再用最小代码说明LLM 能力边界 无法联网 无状态的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM 能力边界 无法联网 无状态 - 0100
为什么说大语言模型的本质是下一个 token 预测，概率是如何计算的？
为什么说大语言模型的本质是下一个 token 预测，概率是如何计算的？ 本文先给出可直接复述的结论，再用最小代码说明next token prediction 生成概率 softmax的工作方式、判断依据、项目边界和常见误区。
核心关键词next token prediction 生成概率 softmax