线上更换嵌入模型前应该怎么做 A/B 或离线对比验证？
围绕“线上更换嵌入模型前应该怎么做 A/B 或离线对比验证”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确全量重嵌入后离线召回对比加小流量灰度、分数分布不可直接跨模型比较。
核心关键词更换嵌入模型 A/B测试 离线评估
面试知识索引 · 分类、标签与搜索
AI 开发 · 测试面试题，9 道完整答案
AI 开发 · 测试面试题第 1 页，显示第 1–9 题，共找到 9 道完整解析，可继续按分类、标签与关键词缩小范围。
9筛选结果
52技术分类
178检索标签
1索引分页
快速定位
清除全部筛选分类、标签与关键词搜索
第 1 页
本页面试问题
按稳定语义路径排序
- 0001
- 0002
新 UI 或新助手上线首周效果应先跑 A/A 或延长观察来区分新奇效应吗？
围绕“新 UI 或新助手上线首周效果应先跑 A/A 或延长观察来区分新奇效应吗”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答需要围绕必须用 A/A 校验埋点和分配系统，并用分层首访/回访时间曲线判断效应是否衰减。
核心关键词A/A测试 新奇效应 首因效应 在线实验 - 0003
团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检？
围绕“团队评测算力有限时怎样设计分层 CI：快速 smoke、夜间全量和人工抽检”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答要按变更风险路由到不同评测层级，并说明全量集抽样刷新与人工抽检比例。
核心关键词评测预算 CI分层 smoke test 人工抽检 - 0004
为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？
围绕“为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释反复看同一套样例导致的评测过拟合，并给出可见/隐藏集合的更新纪律。
核心关键词金标集 隐藏测试集 过拟合防护 prompt迭代 - 0005
程序化弱监督标签进入训练前需要估计哪些噪声参数？
围绕“程序化弱监督标签进入训练前需要估计哪些噪声参数”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须估计各标注源的覆盖率、准确率、相关性和极性冲突，并决定是否只用于训练不用于测试。
核心关键词弱监督 程序化标注 标签噪声 评测参数估计 - 0006
大模型评测发现分数异常高时如何排查训练集与测试集污染？
围绕“大模型评测发现分数异常高时如何排查训练集与测试集污染”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出 n-gram/嵌入近邻、答案串泄露和时间戳交叉的排查路径，并区分逐字重复与模板同构。
核心关键词训练测试污染 数据泄漏 基准污染 去重 - 0007
线上如何做提示词版本的 A/B 对比并保证结论可信？
围绕“线上如何做提示词版本的 A/B 对比并保证结论可信”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确分流一致性、指标定义与样本量问题。
核心关键词提示词 A/B 测试 版本对比 线上评估 - 0008
在边缘设备部署前，如何通过模拟真实硬件环境评估微调模型的性能？
围绕“在边缘设备部署前，如何通过模拟真实硬件环境评估微调模型的性能”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明在目标设备或相近规格的仿真器上运行推理测试。
核心关键词边缘设备 部署前 模拟硬件 评估性能 - 0009
针对长文本生成任务，如何构建有效的评估集以衡量模型的上下文保持能力？
围绕“针对长文本生成任务，如何构建有效的评估集以衡量模型的上下文保持能力”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明包含多段落、长依赖关系的测试样例。
核心关键词长文本生成 评估集 上下文保持能力 构建方法