为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本？
围绕“为什么公开开发集之外还要保留隐藏测试集来评估 prompt 或模型版本”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释反复看同一套样例导致的评测过拟合，并给出可见/隐藏集合的更新纪律。
核心关键词金标集 隐藏测试集 过拟合防护 prompt迭代
面试知识索引 · 分类、标签与搜索
AI 开发 · Prompt面试题，28 道完整答案
AI 开发 · Prompt面试题第 1 页，显示第 1–28 题，共找到 28 道完整解析，可继续按分类、标签与关键词缩小范围。
28筛选结果
52技术分类
178检索标签
1索引分页
快速定位
清除全部筛选分类、标签与关键词搜索
第 1 页
本页面试问题
按稳定语义路径排序
- 0001
- 0002
同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性？
围绕“同一语义指令改写成不同 prompt 后输出波动很大，离线评测应怎样量化鲁棒性”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答需要围绕必须用语义保持改写集报告均值、最差组和方差，而不是只报单 prompt 分数。
核心关键词prompt敏感性 扰动鲁棒性 语义保持改写 评测 - 0003
什么是大模型的上下文窗口，它如何限制一次请求能处理的内容？
回答重点：上下文窗口同时约束输入与输出 token 总额，超过会产生 400 错误或停止生成；通过具体多轮对话场景说明历史、提示词和输出如何竞争有限空间，并解释溢出与精度衰减的边界。
核心关键词LLM context window 上下文窗口 限制 - 0004
为什么大模型在长上下文中间位置的信息容易被忽略（lost in the middle）？
本文解释lost in the middle现象的机制，即位置偏置导致中间信息召回下降，并通过一个RAG场景展示对策：将关键证据前置或后置，同时给出边界如超长多跳和指令冲突时的局限。
核心关键词长上下文 中间信息丢失 lost in the middle - 0005
提示词越长效果越好吗，长提示的成本与收益如何权衡？
围绕“提示词越长效果越好吗，长提示的成本与收益如何权衡”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明冗余提示的边际收益递减与 token 成本累积，给出精简准则。
核心关键词提示词长度 成本与收益 权衡 - 0006
在提示词层面有哪些被验证有效的降低幻觉的手段？
围绕“在提示词层面有哪些被验证有效的降低幻觉的手段”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要说明提供依据材料、允许回答不知道、要求引用原文等技巧及其原理。
核心关键词减少幻觉 提示词 引用资料 允许拒答 - 0007
线上如何做提示词版本的 A/B 对比并保证结论可信？
围绕“线上如何做提示词版本的 A/B 对比并保证结论可信”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确分流一致性、指标定义与样本量问题。
核心关键词提示词 A/B 测试 版本对比 线上评估 - 0008
何时应该在提示词中要求模型逐步推理（chain-of-thought）？
围绕“何时应该在提示词中要求模型逐步推理（chain-of-thought）”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出适用与不适用的任务类型判断。
核心关键词chain of thought 适用场景 推理需求 - 0009
设计分类任务的提示词时，标签集合应如何呈现以减少误判？
围绕“设计分类任务的提示词时，标签集合应如何呈现以减少误判”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确标签互斥性说明与示例覆盖边界类别的要求。
核心关键词分类任务 标签设计 输出一致性 - 0010
为什么提示词中明确直接的指令比委婉暗示更有效？
本文解释清晰指令为何提升模型遵循度：明确指令缩小意图空间、降低歧义，而暗示放大误解风险。通过场景比较委婉与直接表述的差异，指出适用范围与失效条件，给出可量化操作标准。
核心关键词提示词工程 明确指令 直接表述 - 0011
模型输出不符合预期时，如何系统性地定位是提示词问题还是模型能力问题？
围绕“模型输出不符合预期时，如何系统性地定位是提示词问题还是模型能力问题”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出分离变量（指令、示例、上下文、采样参数）的诊断顺序。
核心关键词提示词调试 失败模式 定位方法 - 0012
为提示词优化设计评估集时，样例应如何选取？
围绕“为提示词优化设计评估集时，样例应如何选取”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确覆盖典型、边界与对抗样例的比例原则。
核心关键词提示词 评估集 设计 样例选取 - 0013
当系统提示词与用户指令冲突时，模型应遵循哪一层级？
这道题考察系统提示词与用户指令冲突时的优先级。正确结论是系统提示词通常优先，因为它是开发者设定的安全边界，但并非绝对安全。答案解释机制、一个客服场景的决策过程，以及容易失效的边界情况，并给出设计系统提示的建议。
核心关键词系统提示 用户指令 冲突 优先级 - 0014
在长上下文提示中，为什么建议把文档放在查询之前？
本文解释在长上下文提示中为何建议将文档置于查询之前：分析注意力分布与查询位置的影响，给出工程场景与边界条件，并指出何时可例外以及相关成本。
核心关键词长上下文 文档位置 查询顺序 - 0015
切换 Claude 模型版本时，提示词需要做哪些兼容性检查？
围绕“切换 Claude 模型版本时，提示词需要做哪些兼容性检查”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确行为差异回归评估与参数默认值变化检查清单。
核心关键词Claude 模型版本迁移 提示词 兼容性 - 0016
多份文档内容互相矛盾时，提示词应如何指导模型处理？
围绕“多份文档内容互相矛盾时，提示词应如何指导模型处理”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确冲突显式声明与来源优先级指令的设计。
核心关键词多文档 冲突 提示词 矛盾处理 - 0017
多语言场景下提示词语言与输入语言不一致时会出现什么问题？
围绕“多语言场景下提示词语言与输入语言不一致时会出现什么问题”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确指令语言对输出语言的影响及显式指定输出语言的做法。
核心关键词多语言 提示词 语言一致性 - 0018
如何可靠地控制模型输出的长度？
围绕“如何可靠地控制模型输出的长度”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须区分 max_tokens 硬限制与提示词指令软约束的适用场景。
核心关键词提示词 输出长度控制 max_tokens - 0019
如何用 system prompt 稳定地控制模型的语气与角色设定？
围绕“如何用 system prompt 稳定地控制模型的语气与角色设定”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确角色描述应包含的可检验行为要素。
核心关键词system prompt 角色设定 语气控制 Claude - 0020
Anthropic 的 prompt caching 适合缓存提示词的哪些部分？
围绕“Anthropic 的 prompt caching 适合缓存提示词的哪些部分”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确缓存稳定前缀（system、文档、示例）的收益与失效条件。
核心关键词prompt caching 缓存设计 前缀一致性 - 0021
如何设计提示词让模型先引用证据再作答以降低幻觉？
本题给出“先摘录后作答”的提示设计：强制先输出带编号的原文证据再写答案，分析其压缩生成空间的机理，并指出在矛盾证据、超长文本下要加额外约束并牺牲部分token。
核心关键词引用证据 降低幻觉 提示词设计 - 0022
什么情况下应把复杂任务拆成多次提示调用（prompt chaining）而非单次长提示？
围绕“什么情况下应把复杂任务拆成多次提示调用（prompt chaining）而非单次长提示”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖必须给出拆分判断信号（中间结果需校验、子任务异质）。
核心关键词提示链 任务拆分 多次调用 - 0023
提示词模板中直接拼接用户变量有什么风险，应如何安全插值？
围绕“提示词模板中直接拼接用户变量有什么风险，应如何安全插值”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确模板注入与转义/定界策略。
核心关键词提示词模板 变量注入 安全插值 - 0024
如何在发送请求前估算提示词 token 数以避免超出上下文窗口？
围绕“如何在发送请求前估算提示词 token 数以避免超出上下文窗口”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确计数工具/接口的使用与预留输出余量的实践。
核心关键词token 估算 上下文窗口 计数 Claude - 0025
为什么提示词需要像代码一样做版本管理，应记录哪些元信息？
围绕“为什么提示词需要像代码一样做版本管理，应记录哪些元信息”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要明确版本记录字段（模型版本、参数、评估结果）与回滚价值。
核心关键词提示词 版本管理 元信息记录 - 0026
为什么在提示词中使用 XML 标签组织输入能提升 Claude 输出质量？
围绕“为什么在提示词中使用 XML 标签组织输入能提升 Claude 输出质量”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖需要解释标签帮助模型区分指令、数据与示例的机制。
核心关键词Claude 提示词 XML 标签 结构化输入 - 0027
多租户 RAG 系统如何利用元数据过滤保证租户间数据不串，仅靠 prompt 声明租户为什么不可靠？
围绕“多租户 RAG 系统如何利用元数据过滤保证租户间数据不串，仅靠 prompt 声明租户为什么不可靠”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答检索层强制过滤的必要性及 prompt 层约束可被绕过的问题。
核心关键词RAG 多租户 数据隔离 metadata filter - 0028
RAG 中 step-back 提问（先生成更抽象的问题再检索）适合解决哪类具体查询检索不到背景知识的问题？
围绕“RAG 中 step-back 提问（先生成更抽象的问题再检索）适合解决哪类具体查询检索不到背景知识的问题”给出直接结论、机制拆解、可复现验证、常见误区与追问，重点覆盖回答具体细节问题缺乏上位概念匹配的机制与适用边界。
核心关键词RAG step-back prompting 抽象化检索