代码行号格式可能显著推高词元成本
作者用 o200k_base 对 Python 3.13 标准库131个文件进行计数,对比五种行号格式。测试中常见行号格式增加约42%的词元,另一种简洁格式增加18.5%,说明格式选择也会影响输入成本。
AI 深度解读
给代码加上行号,方便模型指出错误位置,却也可能让输入 Token 增加约 42%。作者用 Python 3.13 标准库做了统计,发现常见的行号排版里,补齐空格和分隔符会持续消耗上下文。
这组实验值得做 AI 编程工具的人看一眼:行号有用,但格式可以更省。不过,作者只测了 Token 开销,没有测修改成功率,不能直接把「少花 Token」当成「整体效率更高」。
为什么几位行号能增加 42% 的开销
作者选取 Python 3.13 标准库的全部顶层模块,排除测试和私有模块,共 131 个文件、107,041 行代码,原始内容为 893,573 Token,再比较五种行号格式。
计数工具是 tiktoken,编码为 o200k_base。Token 是模型读取文本的切分单位,不等于字符数;同样几个字符,放在不同位置,可能被切成不同数量的 Token。
最常见的 cat -n 布局会把行号补齐到六个字符,再接一个制表符。它平均每行增加 3.54 Token,而样本中每行代码平均只有 8.35 Token,最终开销增加约 42%。
这个结果没有被少数文件拉高:文件开销增幅的中位数为 41%,80% 的文件落在 35% 到 48% 之间。textwrap 模块从 4,491 Token 增至 6,084 Token。另一种右对齐的 42 | code 格式也增加了约 39%。
行号前缀是每行都要支付的固定成本,代码行越短,它的占比越高。
这也解释了为什么不能直接把标准库的比例套到所有项目上。作者指出,标准库的代码行比典型配置文件更长,短行文件可能更吃亏;JavaScript、TypeScript 项目的实际比例,原文没有测。
最贵的部分,可能是为了对齐补的空格
下面这段代码可以复现作者对几种前缀的比较:
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
for line in [" 7\tx = 1\n", "7: x = 1\n", "7\tx = 1\n", "x = 1\n"]:
print(len(enc.encode(line)), repr(line))
要看的是第三行:代码内容相同,只改变行号前缀。
原始的 x = 1\n 是 5 Token,cat -n 风格是 8 Token。作者解释,五个补齐空格占了两个 Token,数字再占一个,而制表符恰好与后续字符合并。
7: x = 1\n 增加两个 Token,分别来自数字和冒号;7\tx = 1\n 只增加一个,因为制表符同样与后面的代码合并。
这里的合并结果针对这条示例,不能据此认定所有代码前的制表符都免费。不过,在作者的整体统计中,不补空格的 number<tab>line 确实最省,开销不到 cat -n 的一半。
空行也会放大差异。原本相邻的换行符可以合并,空行成本很低;加上 cat -n 行号后,一行就可能需要四到五个 Token。另外,行号达到 1,000 时,四位数字会按类似 123 加 4 的方式切分,各种格式都再增加一个 Token。
每月多花多少,取决于调用量和缓存
作者假设,一个助手每次请求发送三个文件,每个文件 4,250 Token,每天处理 1,000 次请求。
按作者所供职的 LLM 网关目录快照,gpt-5.6 和 claude-sonnet-5.5 的输入标价为每百万 Token 2 美元。在这个假设下,仅代码输入每月花费 765 美元;采用 cat -n 行号后变成 1,089.72 美元,多出 324.72 美元。改用 7<tab>code,行号成本为 141.44 美元。
换到便宜模型,金额会缩小:同一估算下,gpt-5.6-mini 的 cat -n 行号成本为每月 32.47 美元,claude-haiku-5.5 为 16.24 美元。
这些是特定价格快照和调用假设下的账目,不是当前报价,也不是各模型的实测账单。尤其是 Claude 使用自己的 tokenizer,直接套用 o200k_base 的数量,只能用于估算。
重复发送文件时,提示词缓存(prompt caching)还能降低输入费用。但缓存不会缩短文本:在这组测量中,多出来的约 42% Token 仍然占用上下文窗口。
我的判断
这篇最有价值的地方,是把一个容易忽略的提示词排版选择变成了可测量的成本。取消对齐空格,仍能保留明确的行号信息,值得优先尝试。
但它没有证明取消行号更划算。作者明确承认,没有测回答质量。如果行号能减少一次定位错误或重试,额外输入成本就可能被抵消。这里缺少的,是包含修改成功率、重试次数和输出费用的完整对照。
用搜索替换块代替行号,也是合理选择:模型引用旧代码,再给出新代码,工具据此定位修改。但原文没有比较两种方案的准确率,也没有统计引用旧代码增加的输出成本。这仍是经验建议。
可以先优化行号格式,是否取消行号则要看任务效果。
能拿来做什么
- 如果你在前端或 Node 工具里拼接代码提示词,可以先检查行号生成逻辑,把补齐空格的格式改为
number<tab>line,再用实际采用的 tokenizer 测量差额。 - 询问单个函数时,只给相关片段编号;其余代码按上下文需要提供,避免默认给整个文件逐行加前缀。
- 自动修改代码时,可以比较行号定位和搜索替换块的成功率,把重试与输出费用一起计入成本,再决定采用哪种方式。
- 如果需要模型返回可粘贴的代码,应明确要求回答不要重复行号。作者提醒,输出 Token 通常比输入贵数倍,附带行号的代码还需要额外清理。