ttok 1.0发布：统一token计数工具

我发布了 ttok 0.4，执行了 uv tool upgrade ttok，然后把一个文件 pipe 进新版本……结果发现它默认使用的是 GPT-4 tokenizer，而明明应该默认使用 GPT-5/GPT-6 才合理！

我觉得把默认值切换过去是个合理的借口，终于可以发一个 1.0 了。

OpenAI 实际上还没有正式确认 GPT-6 使用与 GPT-5 系列相同的 tokenizer——社区里还有一个愤怒的 issue 在讨论此事——但我找到了 William Liu 的这个 commit，其中报告了他做的一个实验，确认两者的 tokenizer 很可能是相同的：

七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）在 31 个 fixture 上都报告了 44,794 个 tokens，且彼此完全一致。GPT-6 在这个语料库上没有引入任何输入计数变化。

Claude Haiku 5.5 - 2026 年 10 月 7 日

我们将对几乎所有东西都需要默认的硬预算上限——2026 年 10 月 3 日

OpenAI DevDay 2026 实时博客——2026 年 9 月 29 日

这是 Simon Willison 的报道，发布于 2026 年 10 月 9 日。

每月赞助 $10，即可获得当月最重要 LLM 动态的精选邮件摘要。

付钱让我少给你发消息！