分块 prefill（chunked prefill）如何缓解长输入请求阻塞整个批次的问题，代价是什么？
分块 prefill（chunked prefill）如何缓解长输入请求阻塞整个批次的问题，代价是什么？ 本文先给出可直接复述的结论，再用最小代码说明分块 prefill 缓解阻塞的代价的工作方式、判断依据、项目边界和常见误区。
核心关键词分块 prefill 缓解阻塞的代价
面试知识索引 · 分类、标签与搜索
5000+ 道程序员面试题，每题都有完整答案
程序员面试题库第 14 页，收录第 651–700 题，共 5000 道完整解析，覆盖前端、JavaScript、React、Vue、Node.js、AI Agent、网络、数据库与系统设计。
5000+完整问题
52技术分类
178检索标签
100索引分页
快速定位
分类、标签与关键词搜索
技术分类52 个
全部分类5000AI Agent511浏览器301JavaScript285React281AI 开发262CSS240Node.js217TypeScript206Vue180前端工程化138React Native135
查看全部 52 个分类
热门标签178 个
查看其余 163 个标签
测试109数据库事务95实时通信92Web 可访问性90动画79可观测性77Agent 记忆75向量检索66工具调用66LangGraph59Prompt56任务规划53排障与运维53数据库索引52浏览器自动化51Flexbox50值与类型50GraphQL49事务与并发49构建与镜像49DNS 与 TLS48工程协作与交付48AI 评测47CSS Grid47Express 服务47MCP47副作用与同步47向量与嵌入47文件与多媒体47流与二进制47传输与协议46列表与性能46可维护代码46响应式原理46容器运行46指标日志追踪46数据建模与运维46文件与 I/O46表单与输入46MCP 协议45RAG45Vite 与模块构建45Webpack45内存与虚拟化45原生集成45多 Agent45工作负载与发布45应用与性能45数据处理45模块与工具链45组件与模板45缓存与数据结构45网络与运维45评估与调试45身份认证与授权45运行时与开发45Web 系统方案44一致性与容错44侦听与生命周期44分布式使用44原生组件与交互44可访问交互44消息与异步处理44渲染与调度44索引与执行计划44组件设计44缓存与代理44进程与并发44层叠与选择器43攻击面与防御43文档数据库43权限与安全43离线与渐进增强43语义与文档43请求与通信 API43Worker 与线程协作42事件系统42存储与离线数据42服务架构42服务端与流式渲染42服务端工程42泛型设计42版本控制42类型收窄42类型运算42组件与端到端42编码与执行42进程与线程42DOM 与文档操作41Flex 布局41HTTP 语义41NestJS 架构41REST 与接口契约41SQL 查询41加载与交互性能41动画与视觉41类型工程41记忆与状态41运行时与调度41Agent 架构40WebAssembly 集成40单元与集成测试40多 Agent 协作40工作流编排40模块与语言机制40浏览器与 UI 自动化40生产运行40函数与作用域39响应式设计39性能与并发39类型系统基础39Grid 布局38数组与集合38盒模型与排版38Hooks 与复用37应用开发37推理与成本37状态共享37知识库数据37模型与应用评测36对象与原型35状态与渲染35语言与并发35异步与 Promise34Effect32RAG 检索31React 性能31响应式与性能31微调与数据31TanStack Query30全栈边界30数据与缓存30大模型基础29路由与数据流29事件循环28流式交互28提示与上下文设计27数据与服务端27组件与依赖注入27组件与响应式27多模态应用24应用与渲染24Hydration22沙箱安全22状态管理18算法18CI/CD13语言与运行时10React Server Components6搜索与排序4实用函数实现3链表栈队列3图算法2字符串算法2树与遍历2索引与高级结构2Kubernetes1作用域与函数1动态规划1异步与浏览器1手写与交互性能1数组与双指针1相等比较1
第 14 页
本页面试问题
按稳定语义路径排序
- 0651
- 0652
按量伸缩的推理服务中模型冷启动造成分钟级延迟，有哪些预热与保活策略？
按量伸缩的推理服务中模型冷启动造成分钟级延迟，有哪些预热与保活策略？ 本文先给出可直接复述的结论，再用最小代码说明model cold start latency warmup keep-alive的工作方式、判断依据、项目边界和常见误区。
核心关键词model cold start latency warmup keep-alive - 0653
单副本并发上限应如何由目标 SLO 反推，而不是靠压测随意取一个数？
单副本并发上限应如何由目标 SLO 反推，而不是靠压测随意取一个数？ 本文先给出可直接复述的结论，再用最小代码说明单副本并发上限由 SLO 反推方法的工作方式、判断依据、项目边界和常见误区。
核心关键词单副本并发上限由 SLO 反推方法 - 0654
请求超出模型上下文窗口时，截断历史、摘要压缩与直接拒绝三种策略如何选择？
请求超出模型上下文窗口时，截断历史、摘要压缩与直接拒绝三种策略如何选择？ 本文先给出可直接复述的结论，再用最小代码说明context window overflow truncation summarization policy的工作方式、判断依据、项目边界和常见误区。
核心关键词context window overflow truncation summarization policy - 0655
推理服务运行中偶发 OOM，如何从长请求、批调度与显存碎片三个方向定位？
推理服务运行中偶发 OOM，如何从长请求、批调度与显存碎片三个方向定位？ 本文先给出可直接复述的结论，再用最小代码说明inference OOM diagnosis long request fragmentation的工作方式、判断依据、项目边界和常见误区。
核心关键词inference OOM diagnosis long request fragmentation - 0656
GPU 利用率长期低于 30% 的推理服务，如何从批大小、CPU 预处理和网络 IO 定位瓶颈？
GPU 利用率长期低于 30% 的推理服务，如何从批大小、CPU 预处理和网络 IO 定位瓶颈？ 本文先给出可直接复述的结论，再用最小代码说明GPU 利用率低的瓶颈定位方法的工作方式、判断依据、项目边界和常见误区。
核心关键词GPU 利用率低的瓶颈定位方法 - 0657
主力模型不可用或超时时，LLM 服务的降级链（备用模型、截断上下文、模板应答）应如何分层设计？
主力模型不可用或超时时，LLM 服务的降级链（备用模型、截断上下文、模板应答）应如何分层设计？ 本文先给出可直接复述的结论，再用最小代码说明LLM 降级链分层设计与切换逻辑的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM 降级链分层设计与切换逻辑 - 0658
LLM 推理用 INT8 权重量化替代 FP16 时，显存、延迟和输出质量各会发生什么变化？
LLM 推理用 INT8 权重量化替代 FP16 时，显存、延迟和输出质量各会发生什么变化？ 本文先给出可直接复述的结论，再用最小代码说明INT8 weight quantization LLM latency quality的工作方式、判断依据、项目边界和常见误区。
核心关键词INT8 weight quantization LLM latency quality - 0659
如何根据模型参数量、层数、上下文长度和并发数估算 KV cache 显存占用并决定最大并发？
如何根据模型参数量、层数、上下文长度和并发数估算 KV cache 显存占用并决定最大并发？ 本文先给出可直接复述的结论，再用最小代码说明KV cache 显存估算与最大并发确定的工作方式、判断依据、项目边界和常见误区。
核心关键词KV cache 显存估算与最大并发确定 - 0660
多请求共享系统提示词时，前缀 KV cache 复用为什么要求前缀严格一致，改动一个 token 会怎样？
多请求共享系统提示词时，前缀 KV cache 复用为什么要求前缀严格一致，改动一个 token 会怎样？ 本文先给出可直接复述的结论，再用最小代码说明prefix KV cache reuse exact match的工作方式、判断依据、项目边界和常见误区。
核心关键词prefix KV cache reuse exact match - 0661
限制 max_tokens 对成本、延迟和截断风险分别有什么影响，如何设定合理上限？
限制 max_tokens 对成本、延迟和截断风险分别有什么影响，如何设定合理上限？ 本文先给出可直接复述的结论，再用最小代码说明max_tokens 上限对成本与截断的影响的工作方式、判断依据、项目边界和常见误区。
核心关键词max_tokens 上限对成本与截断的影响 - 0662
设计 LLM 路由层把请求分发到大小不同的模型时，路由信号与兜底策略应如何设计？
设计 LLM 路由层把请求分发到大小不同的模型时，路由信号与兜底策略应如何设计？ 本文先给出可直接复述的结论，再用最小代码说明LLM model routing cost quality fallback的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM model routing cost quality fallback - 0663
单底座多 LoRA 部署时，适配器数量与热适配器缓存如何影响单卡可承载的租户数？
单底座多 LoRA 部署时，适配器数量与热适配器缓存如何影响单卡可承载的租户数？ 本文先给出可直接复述的结论，再用最小代码说明multi-LoRA serving adapter cache capacity的工作方式、判断依据、项目边界和常见误区。
核心关键词multi-LoRA serving adapter cache capacity - 0664
离线任务使用批量 API（batch API）相比实时调用能省多少，代价是什么？
离线任务使用批量 API（batch API）相比实时调用能省多少，代价是什么？ 本文先给出可直接复述的结论，再用最小代码说明batch API offline cost savings latency tradeoff的工作方式、判断依据、项目边界和常见误区。
核心关键词batch API offline cost savings latency tradeoff - 0665
什么类型的 LLM 应用成本由输出 token 主导，这类应用的降本手段与输入主导型有何不同？
什么类型的 LLM 应用成本由输出 token 主导，这类应用的降本手段与输入主导型有何不同？ 本文先给出可直接复述的结论，再用最小代码说明输出主导型应用的降本策略的工作方式、判断依据、项目边界和常见误区。
核心关键词输出主导型应用的降本策略 - 0666
LLM 服务 P99 延迟突高但平均值正常，应按什么顺序排查调度、批处理和输出长度因素？
LLM 服务 P99 延迟突高但平均值正常，应按什么顺序排查调度、批处理和输出长度因素？ 本文先给出可直接复述的结论，再用最小代码说明P99 尾延迟突高排查顺序的工作方式、判断依据、项目边界和常见误区。
核心关键词P99 尾延迟突高排查顺序 - 0667
分页注意力（PagedAttention）解决了 KV cache 的什么显存浪费问题，对容量规划意味着什么？
分页注意力（PagedAttention）解决了 KV cache 的什么显存浪费问题，对容量规划意味着什么？ 本文先给出可直接复述的结论，再用最小代码说明PagedAttention KV cache memory fragmentation的工作方式、判断依据、项目边界和常见误区。
核心关键词PagedAttention KV cache memory fragmentation - 0668
LLM 推理的 prefill 与 decode 两个阶段在计算特征上有何差异，为什么需要分开做容量规划？
LLM 推理的 prefill 与 decode 两个阶段在计算特征上有何差异，为什么需要分开做容量规划？ 本文先给出可直接复述的结论，再用最小代码说明prefill decode disaggregation inference的工作方式、判断依据、项目边界和常见误区。
核心关键词prefill decode disaggregation inference - 0669
压缩提示词降低输入成本时，哪些压缩手段对输出质量影响最小、如何验证？
压缩提示词降低输入成本时，哪些压缩手段对输出质量影响最小、如何验证？ 本文先给出可直接复述的结论，再用最小代码说明提示词压缩对质量影响最小的方法的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词压缩对质量影响最小的方法 - 0670
为什么量化后的模型有时吞吐提升不明显，瓶颈可能在哪里？
为什么量化后的模型有时吞吐提升不明显，瓶颈可能在哪里？ 本文先给出可直接复述的结论，再用最小代码说明量化后吞吐提升不明显的原因分析的工作方式、判断依据、项目边界和常见误区。
核心关键词量化后吞吐提升不明显的原因分析 - 0671
遇到 API 429 限流时，重试、排队与降级到更小模型各自的适用条件是什么？
遇到 API 429 限流时，重试、排队与降级到更小模型各自的适用条件是什么？ 本文先给出可直接复述的结论，再用最小代码说明API 429 限流时重试与降级策略选择的工作方式、判断依据、项目边界和常见误区。
核心关键词API 429 限流时重试与降级策略选择 - 0672
已知业务峰值 QPS、平均输入输出长度和模型单卡吞吐，如何推导所需 GPU 数量与冗余水位？
已知业务峰值 QPS、平均输入输出长度和模型单卡吞吐，如何推导所需 GPU 数量与冗余水位？ 本文先给出可直接复述的结论，再用最小代码说明GPU capacity planning QPS tokens per second的工作方式、判断依据、项目边界和常见误区。
核心关键词GPU capacity planning QPS tokens per second - 0673
用大模型做请求路由分类器本身引入的延迟和成本如何控制在可接受范围？
用大模型做请求路由分类器本身引入的延迟和成本如何控制在可接受范围？ 本文先给出可直接复述的结论，再用最小代码说明路由模型延迟与成本控制策略的工作方式、判断依据、项目边界和常见误区。
核心关键词路由模型延迟与成本控制策略 - 0674
面向 LLM 应用做语义缓存时，相似度阈值、嵌入模型与失效策略应如何选择？
面向 LLM 应用做语义缓存时，相似度阈值、嵌入模型与失效策略应如何选择？ 本文先给出可直接复述的结论，再用最小代码说明语义缓存相似度阈值与失效策略选择的工作方式、判断依据、项目边界和常见误区。
核心关键词语义缓存相似度阈值与失效策略选择 - 0675
用竞价实例跑 LLM 推理服务能省多少成本，被回收时对在途请求和服务 SLO 如何处理？
用竞价实例跑 LLM 推理服务能省多少成本，被回收时对在途请求和服务 SLO 如何处理？ 本文先给出可直接复述的结论，再用最小代码说明竞价实例服务中断应对策略的工作方式、判断依据、项目边界和常见误区。
核心关键词竞价实例服务中断应对策略 - 0676
合理使用 stop sequences 如何直接降低输出 token 成本，设置不当会带来什么质量问题？
合理使用 stop sequences 如何直接降低输出 token 成本，设置不当会带来什么质量问题？ 本文先给出可直接复述的结论，再用最小代码说明stop sequences output cost truncation risk的工作方式、判断依据、项目边界和常见误区。
核心关键词stop sequences output cost truncation risk - 0677
流式输出如何改变用户感知延迟，什么场景下流式反而无意义？
流式输出如何改变用户感知延迟，什么场景下流式反而无意义？ 本文先给出可直接复述的结论，再用最小代码说明流式输出对感知延迟的影响场景的工作方式、判断依据、项目边界和常见误区。
核心关键词流式输出对感知延迟的影响场景 - 0678
约束解码生成结构化输出时，JSON schema 约束对解码延迟和输出长度成本有何影响？
约束解码生成结构化输出时，JSON schema 约束对解码延迟和输出长度成本有何影响？ 本文先给出可直接复述的结论，再用最小代码说明constrained decoding structured output latency overhead的工作方式、判断依据、项目边界和常见误区。
核心关键词constrained decoding structured output latency overhead - 0679
单模型张量并行从 1 卡扩到 8 卡，为什么吞吐不随卡数线性增长？
单模型张量并行从 1 卡扩到 8 卡，为什么吞吐不随卡数线性增长？ 本文先给出可直接复述的结论，再用最小代码说明tensor parallelism scaling communication overhead的工作方式、判断依据、项目边界和常见误区。
核心关键词tensor parallelism scaling communication overhead - 0680
为什么增大批大小到一定程度后吞吐不再线性增长，拐点由什么决定？
为什么增大批大小到一定程度后吞吐不再线性增长，拐点由什么决定？ 本文先给出可直接复述的结论，再用最小代码说明批大小与吞吐关系的饱和点分析的工作方式、判断依据、项目边界和常见误区。
核心关键词批大小与吞吐关系的饱和点分析 - 0681
LLM 应用中客户端、网关、推理三层超时如何分层设置才能避免重试风暴？
LLM 应用中客户端、网关、推理三层超时如何分层设置才能避免重试风暴？ 本文先给出可直接复述的结论，再用最小代码说明timeout budget layered retry storm LLM的工作方式、判断依据、项目边界和常见误区。
核心关键词timeout budget layered retry storm LLM - 0682
如何建立按输入/输出 token 分开计价的 LLM 应用成本模型，并预测功能上线后的月度账单？
如何建立按输入/输出 token 分开计价的 LLM 应用成本模型，并预测功能上线后的月度账单？ 本文先给出可直接复述的结论，再用最小代码说明LLM token cost model monthly bill estimation的工作方式、判断依据、项目边界和常见误区。
核心关键词LLM token cost model monthly bill estimation - 0683
容量报表中 token/s 与 request/s 两个吞吐指标背离时，说明什么、该信哪个？
容量报表中 token/s 与 request/s 两个吞吐指标背离时，说明什么、该信哪个？ 本文先给出可直接复述的结论，再用最小代码说明token throughput vs request throughput divergence的工作方式、判断依据、项目边界和常见误区。
核心关键词token throughput vs request throughput divergence - 0684
TTFT（首 token 延迟）与 TPOT（逐 token 延迟）分别受哪些因素影响，优化手段为何不同？
TTFT（首 token 延迟）与 TPOT（逐 token 延迟）分别受哪些因素影响，优化手段为何不同？ 本文先给出可直接复述的结论，再用最小代码说明TTFT 与 TPOT 延迟影响因素对比的工作方式、判断依据、项目边界和常见误区。
核心关键词TTFT 与 TPOT 延迟影响因素对比 - 0685
线上如何做提示词版本的 A/B 对比并保证结论可信？
线上如何做提示词版本的 A/B 对比并保证结论可信？ 本文先给出可直接复述的结论，再用最小代码说明提示词 A/B 测试 版本对比 线上评估的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词 A/B 测试 版本对比 线上评估 - 0686
何时应该在提示词中要求模型逐步推理（chain-of-thought）？
何时应该在提示词中要求模型逐步推理（chain-of-thought）？ 本文先给出可直接复述的结论，再用最小代码说明chain of thought 适用场景 推理需求的工作方式、判断依据、项目边界和常见误区。
核心关键词chain of thought 适用场景 推理需求 - 0687
设计分类任务的提示词时，标签集合应如何呈现以减少误判？
设计分类任务的提示词时，标签集合应如何呈现以减少误判？ 本文先给出可直接复述的结论，再用最小代码说明分类任务 标签设计 输出一致性的工作方式、判断依据、项目边界和常见误区。
核心关键词分类任务 标签设计 输出一致性 - 0688
为什么提示词中明确直接的指令比委婉暗示更有效？
为什么提示词中明确直接的指令比委婉暗示更有效？ 本文先给出可直接复述的结论，再用最小代码说明提示词工程 明确指令 直接表述的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词工程 明确指令 直接表述 - 0689
上下文接近窗口上限时，应优先裁剪哪类内容？
上下文接近窗口上限时，应优先裁剪哪类内容？ 本文先给出可直接复述的结论，再用最小代码说明上下文裁剪 历史优先 截断策略的工作方式、判断依据、项目边界和常见误区。
核心关键词上下文裁剪 历史优先 截断策略 - 0690
如何为一个对话应用规划输入输出的 token 预算？
如何为一个对话应用规划输入输出的 token 预算？ 本文先给出可直接复述的结论，再用最小代码说明Claude context window token 预算 规划的工作方式、判断依据、项目边界和常见误区。
核心关键词Claude context window token 预算 规划 - 0691
模型输出不符合预期时，如何系统性地定位是提示词问题还是模型能力问题？
模型输出不符合预期时，如何系统性地定位是提示词问题还是模型能力问题？ 本文先给出可直接复述的结论，再用最小代码说明提示词调试 失败模式 定位方法的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词调试 失败模式 定位方法 - 0692
为提示词优化设计评估集时，样例应如何选取？
为提示词优化设计评估集时，样例应如何选取？ 本文先给出可直接复述的结论，再用最小代码说明提示词 评估集 设计 样例选取的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词 评估集 设计 样例选取 - 0693
少样本提示中应如何选择示例才能稳定提升输出质量？
少样本提示中应如何选择示例才能稳定提升输出质量？ 本文先给出可直接复述的结论，再用最小代码说明少样本提示 示例选择 质量控制的工作方式、判断依据、项目边界和常见误区。
核心关键词少样本提示 示例选择 质量控制 - 0694
当系统提示词与用户指令冲突时，模型应遵循哪一层级？
当系统提示词与用户指令冲突时，模型应遵循哪一层级？ 本文先给出可直接复述的结论，再用最小代码说明系统提示 用户指令 冲突 优先级的工作方式、判断依据、项目边界和常见误区。
核心关键词系统提示 用户指令 冲突 优先级 - 0695
在长上下文提示中，为什么建议把文档放在查询之前？
在长上下文提示中，为什么建议把文档放在查询之前？ 本文先给出可直接复述的结论，再用最小代码说明长上下文 文档位置 查询顺序的工作方式、判断依据、项目边界和常见误区。
核心关键词长上下文 文档位置 查询顺序 - 0696
切换 Claude 模型版本时，提示词需要做哪些兼容性检查？
切换 Claude 模型版本时，提示词需要做哪些兼容性检查？ 本文先给出可直接复述的结论，再用最小代码说明Claude 模型版本迁移 提示词 兼容性的工作方式、判断依据、项目边界和常见误区。
核心关键词Claude 模型版本迁移 提示词 兼容性 - 0697
多份文档内容互相矛盾时，提示词应如何指导模型处理？
多份文档内容互相矛盾时，提示词应如何指导模型处理？ 本文先给出可直接复述的结论，再用最小代码说明多文档 冲突 提示词 矛盾处理的工作方式、判断依据、项目边界和常见误区。
核心关键词多文档 冲突 提示词 矛盾处理 - 0698
多语言场景下提示词语言与输入语言不一致时会出现什么问题？
多语言场景下提示词语言与输入语言不一致时会出现什么问题？ 本文先给出可直接复述的结论，再用最小代码说明多语言 提示词 语言一致性的工作方式、判断依据、项目边界和常见误区。
核心关键词多语言 提示词 语言一致性 - 0699
为什么“不要输出 X”式的负面指令常常失效，应如何改写？
为什么“不要输出 X”式的负面指令常常失效，应如何改写？ 本文先给出可直接复述的结论，再用最小代码说明负面指令 失效 改写建议的工作方式、判断依据、项目边界和常见误区。
核心关键词负面指令 失效 改写建议 - 0700
如何可靠地控制模型输出的长度？
如何可靠地控制模型输出的长度？ 本文先给出可直接复述的结论，再用最小代码说明提示词 输出长度控制 max_tokens的工作方式、判断依据、项目边界和常见误区。
核心关键词提示词 输出长度控制 max_tokens