调用模型前先算令牌预算
文章用 tiktoken 按目标模型的编码计算输入令牌数,用于校验上下文窗口、文档切块和费用估算。作者实测的英文样本平均每个令牌对应 6 个字符,Python、JSON 和印地语样本则只有 2.5 至 2.8 个。
AI 深度解读
一次 LLM 调用能塞进多少聊天记录、检索片段和工具结果,按字符数估很容易偏。作者用 tiktoken 实测了英文、印地语、Python 和 JSON。按每 4 个字符算 1 个 token,四组样本全部估错。同一句话的印地语版本,换一套编码,token 数还能从 18 涨到 54。
对前端和全栈开发者,最实用的做法是把 token 预算放到请求发出之前。按实际模型给输入计数,给回复留空间,再用 API 返回的用量校准。这样你能在发请求前决定该少带几段检索结果,还是该缩短聊天历史。
同样一段文本,为什么换模型就要重新数?
tiktoken 是 OpenAI 开源的 BPE(字节对编码)分词器,核心用 Rust 编写,通过 Python 使用。可以把 BPE 理解成按词表规则把常见的字节组合并在一起。英文样本里的 b' summarize' 连同前导空格是一个 token,印地语样本里有一个 token 单独解码只得到元音符号「ृ」。原文提到的平均约 4 字节是分词器的经验描述,拿它当作任何文本都适用的 4 字符就会出偏差。
词表跟着模型走。按作者使用的 tiktoken 0.14.0,encoding_for_model() 把 gpt-4o、gpt-4o-mini、gpt-4.1、gpt-5 和 o1、o3、o4-mini 系列映射到 o200k_base。gpt-4、gpt-3.5-turbo、text-embedding-3-* 和 ada-002 使用 cl100k_base。更早的 Codex 和 GPT-3 模型涉及 p50k_base 和 r50k_base。已知编码名时,可以直接调用 get_encoding()。
| 样本 | 字符数 | UTF-8 字节数 | o200k_base |
cl100k_base |
o200k_base 每 token 字符数 |
|---|---|---|---|---|---|
| 英文 | 60 | 60 | 10 | 10 | 6.00 |
| 同义印地语 | 51 | 135 | 18 | 54 | 2.83 |
| Python | 67 | 67 | 27 | 27 | 2.48 |
| JSON | 79 | 79 | 31 | 30 | 2.55 |
印地语样本的字符更少,却分别用了英文的 1.8 倍和 5.4 倍 token。JSON 则在 o200k_base 下多用了 1 个 token,所以这组数据支持按模型和输入类型计数。作者也试了 claude-sonnet-4 和 llama-3.1-8b,两者都让 encoding_for_model() 抛出 KeyError。多模型应用要把分词器当成模型配置的一部分,切换供应商时一起切换。
切片用 token 控制大小,切口还得照顾原文
作者把四类样本拼成 780 字符、255 个 o200k_base token 的文档。用 size=64、overlap=8 切,输出是 [64, 64, 64, 64, 31]。按每 256 字符切,原文报告的结果是 [84, 86, 85, 5]。重叠的 8 个 token 会同时出现在相邻两块,给块首和块尾留一点上下文。
原文用以下两个函数演示如何限制单段长度,以及如何给检索文档切出有重叠的片段。
def truncate_to_tokens(text, n, enc=o200k):
ids = enc.encode(text)
return text if len(ids) <= n else enc.decode(ids[:n])
def chunk_by_tokens(text, size, overlap=0, enc=o200k):
ids = enc.encode(text)
step = size - overlap
return [enc.decode(ids[i:i + size]) for i in range(0, max(len(ids) - overlap, 1), step)]
step = size - overlap 决定窗口每次走多远,实际封装时应校验 0 <= overlap < size。截断到 20 个 token 的演示切进了一个印地语单词。完整文本在样本里可以无损往返,单个 token 却可能只含一个 UTF-8 字符的部分字节,任意切片后解码也有这个风险。如果片段还要展示或供人引用,可以先用 token 确定上限,再回退到句末或换行,并对最终片段重新计数。要看单个 token 对应的原始字节,可以用 decode_single_token_bytes()。
示例里的 encode() 还有一个输入边界。用户文本恰好含有 <|endoftext|> 时,作者实测它会抛 ValueError。用 encode_ordinary(),同一字符串会作为普通文本计成 11 个 token。统计用户输入时应保留它的普通文本含义,避免用 allowed_special="all" 放开特殊标记。
请求预算要把回复、工具定义和部署开销算进去
调用前先检查 prompt_tokens + max_output_tokens <= model context window。prompt_tokens 要计入消息封装,并为工具或函数定义留出空间。作者举例用 8,000 token 的窗口,预留 1,000 给输出,输入就得控制在 7,000 以内。超限时,优先减掉多余的检索片段或较旧的聊天记录,把系统提示词保留完整。
原文示例的消息正文共 272 个 token,报告加上封装后是 283 个。可按同文所述的 per_message=3、reply_priming=3,两条消息加起来应多 9 个,得到 281。给出的代码也在这个函数开头截断了,剩余差值无法核实。原文转述的 Cookbook 示例里,num_tokens_from_messages() 与 API 返回值吻合,gpt-4o 和 gpt-4o-mini 都是 124,gpt-4 是 129。对自己的请求,仍要拿估值跟响应中的 usage.prompt_tokens 对照。
费用按输入和输出分别计算,各自用 token 数除以 1e6,乘以对应的每百万 token 单价,再相加。原文用每百万输入 token $1.00 演示,283 个输入 token 对应 $0.000283。这只是输入费用示例,印地语样本的 1.8 倍也只对应那组输入 token 的比例。整次调用的成本还取决于输出长度及售价。
部署时更容易感知的是首次加载。作者在无 GPU 的 8 vCPU Intel Xeon 上实测,空缓存时加载 o200k_base 和 cl100k_base 分别花了 6,877 ms 和 4,711 ms,缓存命中后降到 199 ms 和 80 ms。默认路径是 <tmp>/data-gym-cache,容器或 Serverless 实例换掉后可能需要重新下载。用 TIKTOKEN_CACHE_DIR 指定持久路径,或者构建镜像时预加载编码,能把这笔网络时间移出用户请求。
我的判断
字符数适合做宽松的界面提示。真正决定请求是否发出时,我会用目标模型的分词器,并用线上用量校准。作者的四个短样本足以说明字符估算会偏,尤其是代码、JSON 和多语言混在一起时。它们还不足以预测中文业务的平均 token 数,也不能支撑某类用户的长期成本估计。
性能数字也有明确的适用范围。作者用重复 2,000 次的文本块拼出约 2.07 MB 的输入,o200k_base 和 cl100k_base 分别得到 508,000 和 726,000 个 token,单次编码的中位耗时为 87 ms 和 153 ms。把素材拆成 26,000 行再用 encode_batch(..., num_threads=8),耗时 679 ms。这两种跑法同时改变了输入边界和调用方式,只能说明这组短行批处理没有占到便宜。固定 token 窗口能让块大小更可控,至于 8 个 token 的重叠能否改善检索,原文没有做对照,属于经验做法。
能拿来做什么
- 在 Node 调用层按实际模型选择计数方式,把系统提示词、聊天历史、工具定义、检索片段和预留输出纳入同一份预算。超限时先减少检索片段或旧消息,再算一次。
- 给 RAG 文档按 token 定上限,再在附近找段落或换行作为切口。用你实际会索引的中文文档、代码和 JSON 调整块大小和重叠量,并核验最终送出的片段。
- 把本地估算和 API 返回的
usage.prompt_tokens一起记录,按模型、语言和是否携带工具分别观察差值。更换模型或调整工具定义时,用真实响应重新校准余量。 - 如果在容器里用 Python 跑分词,固定
tiktoken版本,在构建阶段写好编码缓存,并用断网启动验证镜像里的缓存路径可用。