多语言 AI 应用的隐性成本：分词差异

同一件事，换一种语言交给 AI，账单可能就变了。IT之家转述的一项研究发现，不同语言的 Token 消耗量，在某个受测模型中最多相差 17 倍。这种差距还会挤占上下文容量，并可能影响响应速度。

对开发多语言 AI 应用的程序员来说，这条消息提醒我们：模型标价相同，不代表服务不同语言用户的成本相同。但「17 倍」有测试范围和模型前提，不能直接套到自己的产品上。

同样的任务，为什么会有不同的 Token 账单

AI 处理文本前，需要通过分词器把文字拆成 Token（词元）。它不是简单地按字数或单词数计数：不同语言、不同文字，在不同分词器下，可能被拆成数量差异很大的片段。

研究人员把由此产生的额外成本称为「分词器税」。这里的「税」是比喻，指某些语言完成相近任务时，需要消耗更多 Token。

报道给出了两组关键数字：

• 在互联网上最常用的 20 种语言中，Token 消耗量最高与最低的差距达到 1.5 至 5 倍。
• 测试范围扩大到 200 种语言后，其中一个 AI 模型的最大差距达到 17 倍。

17 倍描述的是某个模型中不同语言的 Token 消耗差距，并非所有 AI 服务的费用都相差 17 倍。

原文没有交代受测模型名称、分词器版本、具体语言组合，以及测试文本如何保证内容和难度可比。因此，这些数字能说明问题值得关注，却不足以直接估算某款产品的账单。

被挤掉的还有对话历史和文档容量

Token 不只参与计费，也占用上下文窗口。一个固定大小的窗口，如果某种语言表达相同内容需要更多 Token，就只能放进更少的文档、指令和对话记录。

Activate AI 联合创始人普拉蒂尤什·乔杜里用教学举例：老师需要记住学生犯过的错误和已经接受的讲解。如果历史记录很快塞满窗口，AI 就更难持续利用这些信息。

这是对影响机制的解释，原文没有提供教学质量下降的实测数据。同样，报道指出更多 Token 会拖慢响应，但没有给出延迟对照，不能据此认为 Token 多 17 倍，响应就慢 17 倍。

乔杜里提出的要求更有实践价值：AI 实验室应公布各语言评估结果，比较完成相同难度任务的费用，并对支持薄弱的语言制定可量化的改进计划。对采购模型的团队来说，这比只看统一价目表更接近真实使用成本。

数据要补，分词器也要改

报道认为，高质量数字化数据不足，是语言处理差距的重要原因之一。

Navana.ai 参与的 RESPIN 项目提供了一个具体例子：该项目与印度科学学院合作，由盖茨基金会资助，收集了 38 种方言母语使用者提供的文本和朗读录音。不过，原文没有给出这些数据让 Token 消耗下降了多少的结果。

语言使用人数也不是唯一因素。阿斯图里亚斯语使用者不多，报道指其未被 Common Crawl 数据集收录，但它采用拉丁字母，还能从意大利语等罗曼语族语言的数据覆盖中受益。

这个例子说明，不能只凭「小语种」判断分词效率，文字系统及相关语言的数据覆盖也会产生影响。

Maya Research CEO 迪曼特·雷迪进一步区分了两个问题：更好的多语言数据和合成数据有助于模型质量，但要缩小分词差距，还需要专门改进下一代分词器。至于 Token 降价会逐渐减轻费用差异，这是他的判断，原文没有提供价格趋势数据。

我的判断

这篇报道最有用的地方，是把语言支持从「能否回答」推进到了「完成任务要花多少成本、能保留多少上下文」。

但它仍是一篇研究新闻，缺少模型名单、测试方法和完整结果。现阶段不能据此认定中文一定贵多少，也不能把班加罗尔与奥斯汀的地域比较直接当成实际企业账单对照，关键仍是使用的语言和模型。

相比统一改用英语，保留用户语言、按任务测试模型更值得优先考虑。翻译会增加一道处理环节，也可能影响内容表达；原文没有比较这两条路线的总成本和质量，不能替任何一种方案背书。

单价下降可以缓解费用压力，却不会自动解决同一窗口能装多少内容的问题。

能拿来做什么

• 为多语言 AI 功能准备含义和难度接近的样例，记录实际 Token 用量、响应时间和任务完成质量，再决定使用哪个模型。
• 在 Node 服务端按语言汇总模型调用成本，区分输入与输出 Token，避免全站平均值掩盖部分语言的高消耗。
• 给长对话和文档问答设计上下文预算时，依据实际 Token 用量做截断或摘要，不要只用字符数判断容量是否足够。