GPT-6.2多轮对话应保持系统提示稳定
文章指出,GPT-6.2 Responses API 在先前内容被编辑时会丢弃受影响的推理项,逐轮更新系统提示里的日期或页面信息可能触发这一行为。作者用 React 和 Vercel AI SDK 做了两轮本地模拟,验证范围限于请求接线。
AI 深度解读
React 聊天应用里,把当前时间和页面路径拼进 system 很方便。按 Cuelark 团队引用的 GPT-6.2 迁移文档,这个写法会让第二轮请求改动历史开头,Responses API 仍会正常返回,但可能移除上一轮的推理项。改动很小:把固定规则留在 system,把每轮变化的信息放进顶层 instructions。
作者用本地模拟接口跑了两轮对话,验证了 AI SDK 怎么发送这些字段、前端从哪里读到移除记录。测试没有请求真实 API,能帮你找到接线问题,回答不了改完能省多少 token,或者实际回答会好多少。
为什么改一个时间戳会影响上一轮推理
Responses API 可以在后续请求里引用先前的推理项。这里的「前缀」可以理解为推理项之前那段输入。按 GPT-6.2 的规则,如果你改动了那段输入,API 会移除改动位置之后的推理项,因为它们是在旧输入上产生的。切换到某些模型,或者更换终端用户,也可能触发移除。迁移文档指出,模型可能要花更多 token 重做先前的工作,回答质量也可能下降。
下面这行代码同时给客服助手设置角色、当前时间和用户所在页面。
system: `You are Acme's support assistant. Today is ${new Date().toISOString()}. The user is on the ${user.page} page.`,
问题就在同一行的 new Date().toISOString()。AI SDK 把 system 作为 input 里的第一条 developer 消息发送,哪怕用户一直停在同一页,新的时间戳也足以改动 input[0]。作者的模拟服务因此在第二轮返回了对 rs_1 的移除记录,action 是 removed,reason 是 prefix_mismatch。把动态内容后移也符合提示词缓存对稳定前缀的要求,是否命中缓存仍需看实际请求。
React 聊天路由改哪几行
GPT-6.2 会把顶层 instructions 追加到 input 之后。固定规则可以留在首条 developer 消息里,当轮时间和页面则交给 instructions。作者用 ai@7.0.177 和 @ai-sdk/openai@4.0.121 跑通了这个路径。4.0.120 加入 GPT-6.2 模型 ID,4.0.121 开始在 provider metadata 里返回 input_transformations。
这个 Next.js 路由把固定规则、当轮上下文和推理移除记录分别接到了对应的位置。
// app/api/chat/route.js
import { streamText, convertToModelMessages } from 'ai';
import { openai } from '@ai-sdk/openai';
import { createHash } from 'node:crypto';
const SYSTEM = "You are Acme's support assistant. Answer from the order data you are given.";
export async function POST(req) {
const { messages, user } = await req.json();
const result = streamText({
model: openai('gpt-6.2-sol'),
system: SYSTEM, // never changes, so it stays a stable, cacheable prefix
messages: await convertToModelMessages(messages),
providerOptions: {
openai: {
reasoningSummary: 'auto',
// GPT-6.2 appends this after input, so it can change every turn
instructions: `Today is ${new Date().toISOString()}. The user is on the ${user.page} page.`,
// send it on every request, with the same value for the whole conversation
safetyIdentifier: createHash('sha256').update(user.id ?? user.sessionId).digest('hex').slice(0, 32),
},
},
});
return result.toUIMessageStreamResponse({
sendReasoning: true,
messageMetadata: ({ part }) =>
part.type === 'finish-step'
? { dropped: part.providerMetadata?.openai?.inputTransformations ?? [] }
: undefined,
});
}
读元数据时认准 part.type === 'finish-step' 这一行。作者一开始读的是 finish,因此看不到 inputTransformations。
测试模拟了 useChat 的两轮流程。团队提交 UI 消息,用 readUIMessageStream 重建助手消息,再带着这条消息发起追问。修完后,两轮的 input[0] 逐字节一致,新页面出现在顶层 instructions,第一轮推理以 item_reference 传回并保留,dropped 为空。前端仍可折叠展示 reasoning parts,开发时可以顺手记录 message.metadata.dropped。
另一个容易漏掉的分支是聊天中途登录。示例按 user.id ?? user.sessionId 取值,用 sha256 生成十六进制摘要,再截取前 32 个字符。登录后从会话 ID 切到用户 ID,发给 API 的 safety_identifier 会变。作者的修复版同样触发了 end_user_mismatch。只在其中一轮发送这个字段,也会触发文档描述的移除规则。
升级 GPT-6.2 还要检查哪些参数
按原文记录,gpt-6.2-astra 和 gpt-6.2-sol 于 2026 年 11 月 17 日发布。Astra 每 100 万 token 的输入、缓存输入、输出分别是 8、0.40、40 美元,Sol 分别是 2、0.10、10 美元,与 GPT-6.1 Sol 同价。输入超过 272K token 时价格更高。两款模型的上下文窗口都是 1,050,000 token,输入最多 922,000,输出最多 128,000。输入支持文本和图片,输出为文本。
两款模型都支持 Responses 和 Chat Completions。按原文说明,工具调用需要 Responses API。迁移时还要清理旧参数,reasoning.effort 设为 none 会被拒绝,temperature 和 top_p 应移除。两款模型均不支持 Flex processing,后台模式提供公开测试中的 2 小时和 8 小时折扣完成窗口。
会话进行中改 reasoning.effort、tools 或 text.format,也可能改变前缀。文档建议追加 configuration_update 或 additional_tools 项,作者没有测试这两个做法。历史裁剪也要看具体操作。重写旧工具输出,或把摘要塞到历史前面,会改动前缀。文档建议考虑 compaction 或把摘要放到末尾。直接删除整项、保持其余项原样,本身不会触发 prefix_mismatch。
我的判断
我赞成先改动态 system。对已经接入 Responses API 的聊天应用,这只需要调整服务端字段,消息列表和渲染逻辑可以照旧。只把日期精度降到天,确实能减少前缀改动,但跨天或切页时问题还会出现。移到顶层 instructions 以后也有成本,这部分 token 每轮按未缓存输入计费,适合只放当轮需要的短信息。
作者用 fetch 模拟了文档描述的 SSE 流和两种不匹配检查。这个测试能说明 SDK 接线和元数据读取是否符合预期。原文没有真实 API 的对照数据,回答质量、token 用量和缓存收益都还要实测。示例也把会话身份的决策留给了接入方。登录节点是否延续会话,要结合产品的身份边界来定,再按实际选择验证推理项的行为。
能拿来做什么
- 检查 Next.js 或 Node 聊天路由里拼进
system的时间、页面和用户上下文。固定规则继续放在system,当轮需要的短信息传给providerOptions.openai.instructions。 - 上线前用真实 Responses API 跑两轮,第二轮切换页面并追问,在
finish-step里读取inputTransformations,确认页面更新后是否仍出现prefix_mismatch。 - 把匿名聊天后登录加入回归验证,检查两次请求的
safety_identifier是否符合会话设计,并通过end_user_mismatch确认后续是否还能保留先前推理。 - 如果服务端会改写历史摘要或工具输出,把该操作单独放进两轮测试,记录它对
dropped的影响。