接入 Qwen4-Max 时别丢失加密推理
文章指出,在 React 聊天应用中通过 Vercel AI SDK 的标准 OpenAI 兼容提供方接入 Qwen4-Max,可能无法保留加密推理数据,并介绍修补思路。作者仅用文档所述数据流的本地模拟验证接线,未调用真实 API。
AI 深度解读
把 React 聊天应用的模型名换成 qwen4-max,流式回答能显示,第二轮也能继续聊,接入就算完成了吗?Cuelark 团队发现,标准 OpenAI-compatible provider 会悄悄丢掉一段加密推理数据:界面没有报错,但后续请求已经缺少模型恢复此前推理所需的内容。
这篇最值得看的,是一次消息往返检查,以及怎样把 provider 不认识的字段带回历史记录。边界也很清楚:作者没有 Qwen API key,只用本地 mock 验证了接线,没有测试真实模型的效果。
协议兼容,为什么历史消息还会丢东西
据作者在 2026 年 11 月 17 日核对的 Alibaba Cloud Model Studio 文档,qwen4-max 于 11 月 16 日进入 International 部署范围的发布记录。它支持 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 DashScope,已有 Vercel AI SDK 应用看起来只需换个模型名。
文档列出的能力包括文本、图片、视频输入和文本输出,以及流式输出、function calling、并行工具调用、web search、JSON Object、JSON Schema、显式和隐式缓存。不支持 batch inference、fine-tuning 和 model deployment,依赖这些能力的流程无法直接替换。
上下文为 1,000,000 tokens;关闭 thinking 时,输出上限为 131,072 tokens,开启时为 262,144 tokens。默认参数是 enable_thinking: true、preserve_thinking: true、reasoning_effort: high。推理强度支持 low、high、xhigh;其他值会映射,minimal 对应 low,medium 对应 high,max 对应 xhigh。
问题藏在另一项可选配置里。发送 thinking_display: "summarized" 后,接口不再提供原始推理,而是返回可展示的摘要,以及完整推理的加密内容。
Chat Completions 的流式顺序是:摘要先从 choices[i].delta.reasoning_content 到达,独立一帧携带完整的 encrypted_content,之后才是正文或工具调用,最后结束。
摘要负责展示,密文负责在后续轮次恢复推理,两者不能互相替代。
按文档要求,密文必须和对应的 assistant 消息一起,在每次后续请求中原样回传。即使那一帧没有可见文本,也不能丢弃。
作者使用 ai@7.0.173 和 @ai-sdk/openai-compatible@3.0.92,让本地 mock 按文档顺序发送数据。摘要正常变成 reasoning-delta,答案正常变成 text-delta,但第二轮请求只带回正文和 reasoning_content,没有 encrypted_content。provider 保留了认识的字段,过滤了其余字段,而整个过程没有报错。
修复要覆盖接收、存储和回传三个位置
作者利用 provider 的两个扩展点补齐链路:metadataExtractor 从原始响应中读取密文;消息上的 providerOptions.openaiCompatible 则会被展开到请求消息中。
下面这段负责提取密文,并配置摘要模式:
// lib/qwen.js
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
const encryptedReasoning = {
extractMetadata: async ({ parsedBody }) => ({
qwen: { encrypted: parsedBody?.choices?.[0]?.message?.encrypted_content ?? null },
}),
createStreamExtractor: () => {
let encrypted = null;
return {
processChunk(chunk) {
const e = chunk?.choices?.[0]?.delta?.encrypted_content;
if (e) encrypted = e;
},
buildMetadata: () => ({ qwen: { encrypted } }),
};
},
};
export const qwen = createOpenAICompatible({
name: 'qwen',
baseURL: process.env.QWEN_BASE_URL, // https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1
apiKey: process.env.DASHSCOPE_API_KEY,
metadataExtractor: encryptedReasoning,
});
export const thinking = {
qwen: { enable_thinking: true, thinking_display: 'summarized', preserve_thinking: true },
};
要看的是 delta.encrypted_content:它独立于文本增量读取,因此不会因为该帧正文为空而漏掉。非流式响应则从 message.encrypted_content 提取。
这里也保留了新的新加坡 workspace 地址格式。原文说,OpenAI-compatible 文档要求从旧的 dashscope-intl.aliyuncs.com 迁移到 workspace host,不能只改模型名而忽略地址。
提取之后,还要让密文跟随消息走完前后端。下面的路由在响应结束时写入消息 metadata,在下一轮转换历史消息时将其放回请求:
// app/api/chat/route.js
import { streamText, convertToModelMessages } from 'ai';
import { qwen, thinking } from '@/lib/qwen';
export async function POST(req) {
const { messages } = await req.json();
const modelMessages = [];
for (const m of messages) {
for (const mm of await convertToModelMessages([m])) {
const enc = m.role === 'assistant' ? m.metadata?.encrypted : null;
modelMessages.push(
enc ? { ...mm, providerOptions: { openaiCompatible: { encrypted_content: enc } } } : mm,
);
}
}
const result = streamText({
model: qwen.chatModel('qwen4-max'),
messages: modelMessages,
providerOptions: thinking,
});
return result.toUIMessageStreamResponse({
sendReasoning: true,
messageMetadata: ({ part }) =>
part.type === 'finish-step' ? { encrypted: part.providerMetadata?.qwen?.encrypted } : undefined,
});
}
这里最关键的是 providerOptions: { openaiCompatible: { encrypted_content: enc } }。只把密文存在前端 metadata 中还不够,必须显式放回 provider 能透传的位置。
改完后,作者的两轮测试在第二次请求中看到了 "encrypted_content": "ENC-TURN-1"。这证明 mock 数据能够完成往返。
普通聊天能通过,工具循环还不能照搬
现有 shadcn 聊天界面可以继续使用:reasoning parts 放进可折叠的「Thinking」区域,text parts 作为回答展示。不过,文档允许摘要缺失或不完整,该模式也拿不到原始推理。界面应允许没有摘要,不能把它设计成回答出现的前置条件。
更麻烦的是工具循环。文档要求,每一段加密内容都要跟随自己的 assistant 消息保存,包括发起工具调用的轮次。作者的 extractor 每步只保留一个值,适用于文中的普通聊天;多步工具 agent 还需要把每步密文映射到正确的 assistant 消息,不能把示例当成完整方案。
持久化也是链路的一部分。useChat 将密文保存在客户端消息 metadata 中,如果数据库只存角色和正文,刷新页面或下次恢复会话时,密文仍然会消失。
成本方面,International 范围每百万输入 tokens 为 $1.50,输出为 $4.50;Global 范围分别为 $1.413 和 $4.24。开启与关闭 thinking 的单价相同,但输出计费包含推理和答案,不能据此推断总费用相同。缓存价格原文没有展开。
我的判断
我认同作者的排查方式:检查第二轮实际发出的请求,比观察聊天窗口是否正常更有说服力。应用可以持续产生答案,同时丢失模型协议要求的历史信息,这类问题很容易逃过手工体验。
但证据只能支持到「指定 SDK 版本加上文档 mock,字段往返修复成功」。作者没有调用真实 API,也没有给出保留与丢弃密文的质量、延迟或成本对照数据,不能据此断言回答会提升多少,更不能推广到所有版本的 provider。
保留现有 provider、通过扩展点补字段,是改动较小的接法。直接处理底层协议也能控制原始字段,却要自行承担更多流式解析和消息转换工作。原文没有比较两种方案的维护成本;对于多步 agent,现成代码的适用范围尤其需要收紧。
能拿来做什么
- 接入
qwen4-max的摘要模式时,跑一次真实的两轮请求,检查第二轮 assistant 消息是否原样携带首轮encrypted_content。 - 检查 React 聊天应用的保存和恢复逻辑,将相关消息 metadata 一并持久化,并验证恢复会话后仍能回传密文。
- 如果 Node 服务会执行多轮工具调用,先明确每段密文对应哪条 assistant 消息,再实现存储和回传,避免直接套用单值提取器。
- 将推理摘要做成可选展示内容;摘要缺失或只有部分内容时,正文和工具执行结果仍应正常呈现。