多轮聊天怎样推高模型调用成本
应用每轮重传聊天历史时,输入 Token 会随对话累积,并与系统提示、文档和回复空间共享上下文窗口。文章用假设数字演算成本变化,建议估算时使用目标模型的计数工具。
AI 深度解读
用户第 50 条消息和第 1 条一样短,为什么发给模型的输入却多了约 19 倍?原文用一组假设数字算了一遍:如果应用每轮都重发完整历史,用户只输入一句话,模型收到的却是这句话加上前面几十轮的对话。
这个例子适合拿来检查聊天功能的成本估算。只测首轮,会漏掉历史在后续请求中反复占用的输入额度。估算时还得给回答留空间,否则聊到一半就可能撞上上下文窗口的长度限制。
用户只发一句,模型这一轮要读多少?
模型按 token 处理文本。分词器(tokenizer)可能把一个短词切成一个 token,也可能把长词、数字拆成几段,标点也可能单独占一个。英文可以粗估为每 4 个字符约 1 个 token,一页 500 个英文单词大约是 700 个 token。代码、数字和非英语文本的切分方式可能带来更高的用量,同一段文字在不同模型上的计数也可能不同。要做预算,用对应模型的官方计数器测实际内容。
上下文窗口(context window)是单次请求能容纳的 token 空间。系统提示词、历史消息、参考文档和当前问题都要占位置,还得给回答留额度。原文算的是应用每轮重新提交完整历史的情况,同一段文字只要再次进入请求,就会再次计入这轮的输入量。输入加上预留的回答额度超过窗口时,就得先裁掉一部分,否则请求可能因长度超限而失败。
第 50 条消息的 19 倍是怎么算出来的?
作者假设系统提示词占 500 tokens,每轮用户消息占 40 tokens,模型回复占 160 tokens,一问一答会给下一轮留下 200 tokens 的历史。首轮的输入量可以这样算:
500 + 40 = 540 tokens
这一行只加了系统提示词和当前问题,因为首轮还没有旧历史,当前回复也还没生成。
到了第 50 条消息,前 49 轮已经积累了 9,800 tokens(49 × 200),加上系统提示词和当前问题,输入达到 10,340 tokens。用下面这一行对比首轮:
10,340 / 540 = about 19
这一行的分子和分母都是单次请求的输入量。按同一组假设,第 10 条消息是 2,340 tokens,第 25 条是 5,340 tokens。要估算整段聊天的花费,还得累计每一轮的输入和输出,并分别按供应商的价格计算。原文提醒,输出的每 token 单价往往更高,具体要查实际价目表。
扩大窗口和减少输入,分别解决什么?
扩大窗口能容纳更长的请求,原来每轮重发的历史仍会进入输入。作者建议从两处减量。参考资料可以先检索,只发与当前问题最相关的几段。聊天历史可以保留最近几轮,把更早的内容压成短摘要,并删掉下一次回答用不到的信息。
原文还建议把系统提示词、历史、文档、当前问题和回答分开做预算。账单上的总量很难告诉你应该从哪一类开始减。检查时要把长会话单独拎出来,因为历史反复发送,少数特别长的会话也可能贡献大量用量。
我的判断
完整重发历史时,输入会随轮数增长,这一点从算式就能验证。19 倍来自作者设定的消息长度和系统提示词,原文没有给出真实账单、延迟测量或团队实测数据。检索和摘要能省多少、会不会影响回答质量,也没有对照数据,属于经验建议。
短会话直接保留原文,接续时还能看到准确措辞。固定只留最近几轮,实现简单,但可能丢掉用户早先提出的约束。摘要可以保住跨轮信息,却可能漏掉参数、错误原文或某个已经确认的决定。知识库检索解决的是资料该发哪几段,用户在对话里定下的约束仍需要应用自己保留。
能拿来做什么
- 在 Node 聊天接口里,按系统提示词、历史、参考文档和当前问题统计 token,再单独记录回答的预留额度和实际输出量。用真实长会话检查第 10、25、50 条消息,看看是哪一类内容在增长。
- 给知识库问答设置文档预算,先检索再选片段。用需要精确引用的真实问题验证,确认精简后的输入仍包含回答所需的依据。
- 给日常 AI 编程对话保留最近几轮原文,并在早期摘要中明确记录已确认的需求、关键参数和未解决的错误。测试一次跨多轮追问,检查这些信息能否准确接续。