JSON 默认转义可能推高提示词成本
Python 的 json.dumps 默认将非 ASCII 字符转为 Unicode 转义序列,直接放入提示词可能增加 token 用量。作者以俄语材料展示了 3.6 倍成本差异,提示多语言应用检查 ensure_ascii 配置。
AI 深度解读
把数据库记录转成 JSON,再塞进提示词,是不少 LLM 应用的常见做法。作者发现,Python 的一个默认参数会把俄语、中文、带重音的姓名和 emoji 转成转义序列,内容仍然正确,输入 token 却可能明显增加。
在作者的 50 条模型资料测试中,俄语 JSON 的 token 数因此变成约 3.64 倍。修复只需加上 ensure_ascii=False,但它能省多少,要看非英语数据占比;更不能把这项测试理解为回答质量也得到了验证。
JSON 能正确还原,为什么还会多收钱
json.dumps 的 ensure_ascii 默认是 True,会把 ASCII 之外的字符替换成 \uXXXX。ASCII 是包含英文字母、数字和常用标点的 128 字符集合。
这种转换不会破坏 JSON。JSON 解析器能把转义序列还原成文字,但当这段 JSON 被拼进消息正文时,模型接收到的就是带反斜杠和十六进制数字的文本。
分词器(tokenizer)负责把文本切成 token。它通常能把常见词语中的多个字符合成一个 token,而转义后的数字串容易被切得更碎。
下面这段代码比较原始文字与转义文字的 token 数:
import json
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
for text in ["Привет, мир", "naïve résumé", "東京", "👍"]:
escaped = json.dumps(text)[1:-1] # 去掉两侧引号
print(f"{text!r}: {len(enc.encode(text))} tokens as text, "
f"{len(enc.encode(escaped))} as {escaped}")
要看的是 json.dumps(text)[1:-1]:它去掉外层引号,让比较集中在文字本身。
作者使用 tiktoken 的 o200k_base 编码,并称它用于 GPT-5.x 模型。测试中,Привет, мир 从 4 tokens 增至 29,naïve résumé 从 4 增至 15,東京 从 1 增至 7。一个 👍 转义后成为两段转义序列,占用 9 tokens。
JSON 语义相同,不代表放进提示词后的 token 成本相同。
3.64 倍是怎么来的,账单又为什么只翻倍
作者在其参与开发的 LLM gateway 中,取了 50 个聊天模型的公开简介,分别使用俄语和英语,构造包含 id、name、description 的记录列表。
英语简介没有非 ASCII 字符,因此默认设置不会增加 token。这也解释了为什么只用英语数据开发时,问题很容易被漏掉。
俄语记录平均每条约从 55 tokens 变成 200。整个载荷的倍率是 3.64 倍,而非作者对比提到的约 6 倍,因为 ID、模型名称和 JSON 键名都是 ASCII,不受转义影响。
作者还比较了格式化成本:同一份俄语 JSON 加上 indent=2,token 数从 2,753 增至 3,054,约增加 11%;转义带来的增幅则是 264%。在这组数据里,先处理转义,比先删缩进划算得多。
接着是账单估算。假设一个客服机器人每次发送 300 tokens 指令、20 条俄语记录,并生成 250 tokens 回答,默认配置下输入为 4,306 tokens,关闭转义后为 1,401。
按原文采用的 GPT-5.6 标价,即每百万输入 tokens 2 美元、输出 tokens 12 美元,每次调用约从 0.0116 美元降至 0.0058 美元,约相差两倍。每天 10,000 次调用,作者估算月费为 3,483 美元与 1,741 美元,差约 1,740 美元。GPT-5.6 mini 的估算金额低一个数量级,为 348 美元与 174 美元。
这里的价格是原文计算采用的口径,机器人流量和输入输出长度也是假设。整单没有变成 3.64 倍,是因为指令和输出同样要计费,而它们没有获得这项节省。
我的判断
我认同先检查默认转义。它改动小,原因明确,作者也给出了真实资料的 token 测量,比笼统地要求「提示词写短一点」更容易验证。
但适用边界必须分清:问题出在作为消息正文发送的 JSON 字符串。SDK 为了传输请求而转义整个 HTTP 请求体,服务器会先解码,再交给分词器,不能把这两层混在一起。
JavaScript 的 JSON.stringify 默认不会转义非 ASCII 字符,因此纯前端或 Node 项目通常不会直接踩到这个默认值。更值得检查的是 Python 服务,以及沿用 json.dumps 默认行为的库。
作者没有测回答质量。模型可能读懂转义文本,也可能把转义序列抄回回答,增加输出费用,但改善程度没有对照数据。Claude、Gemini 使用各自的分词器,具体倍率也不能照搬。
此外,这项修改只消除转义的额外开销。它不会解决俄语与英语表达同一含义时的 token 差异。相较于裁剪记录或减少重复上下文,它保留了全部信息;但若非英语资料只占提示词的一小部分,整体收益也会很小。
能拿来做什么
- 在 Python 的提示词构造代码附近搜索
json.dumps(,确认哪些结果会进入消息正文,并为这些调用显式设置ensure_ascii=False。 - 用实际业务记录统计最终提示词的 token 数,保留指令和数据一起比较。俄语正文出现大量
\u04时,可以沿序列化链路排查。 - 对前端或 Node 调用 Python AI 服务的项目,检查最终送给模型的文本。只查看浏览器里的请求体转义形式,无法判断是否存在这项浪费。
- 修复时可以采用下面的写法,并用真实调用量估算收益:
context = json.dumps(records, ensure_ascii=False)
关键是 ensure_ascii=False,它让非 ASCII 字符直接保留在 JSON 文本中;随后仍应按目标模型的分词器核算成本。