邮件内嵌图片如何撑爆模型输入账单
文章展示了将图片 Base64 当作普通文本送入模型的成本陷阱:一张 133 KB 图片产生了 122,584 个 token。邮件 HTML 中的签名图片可能悄然放大输入量,且业务输出仍看似正常。
AI 深度解读
给客服机器人发一封 HTML 邮件,正文只有几百个 token,签名里的 Logo 却可能把输入量放大到近百倍。问题出在图片以 base64 字符串混进了文本,模型要为每个字符付出处理成本,却没有通过图像输入通道看到它。
作者用四张 PNG 实测,133 KB 的图片转成文本后占了 122,584 tokens。这篇最有用的提醒是:排查 AI 调用成本和上下文超限时,除了看对话长度,还要检查邮件、JSON 和工具结果里有没有夹带文件。
一张小图为什么能吃掉十几万 token
base64 把文件写成只含 64 种安全字符的文本,方便塞进 HTML、JSON 等格式。HTML 里的 data URI 则直接把文件放进链接,例如图片的 src 属性可以包含整段 base64。
问题分两层。
第一层是编码膨胀:每 3 字节变成 4 个字符,长度增加约三分之一。第二层是分词效率低:分词器擅长把常见语言片段合并,却很难压缩近似随机的字符组合。
作者使用 tiktoken 的 o200k_base,测试四张不同大小的 PNG,并加入 100 KB 随机字节作为对照,再用 Python 文档字符串中的英文散文比较。结果是:
- 四张图片每 KB 原文件产生 914 到 931 tokens,与随机字节接近。
- base64 平均每个 token 只有 1.48 个字符,英文散文则有 4.22 个。
- 整体约为每字节 0.9 tokens,可以用「文件 KB 数 × 920」粗估;较旧的
cl100k_base还要多消耗百分之几。
PNG、JPEG 已经过压缩,字节分布接近随机,转成 base64 后也缺少容易合并的语言模式。不过,作者实际测的是 PNG,不能把这组精确比例当成所有文件格式的固定系数。
文件能装进字符串,不代表它适合进入模型的文本输入。
成本放大之外,还有偶发的上下文超限
133 KB 的预览图产生了 122,584 tokens。按作者所用 LLM 网关目录快照中的标价,gpt-5.6 输入价格为每百万 tokens 2 美元,一次约花 0.25 美元;claude-haiku-5.5 为每百万 0.10 美元,一次约 1.2 美分。这些是原文引用的价格快照,不能直接视为当前报价。
单次不显眼,重复调用就很贵。
作者设定的客服场景是:邮件正文 400 tokens,签名 Logo 为 40 KB,每天处理 1,000 封。Logo 约增加 37,300 tokens,单次输入变成原来的 94 倍。按其月度口径计算:
| 模型 | 每百万输入 tokens 标价 | 仅正文月费 | 带 Logo 月费 |
|---|---|---|---|
gpt-5.6-mini |
0.20 美元 | 2.40 美元 | 225.95 美元 |
gpt-5.6 |
2 美元 | 24 美元 | 2,259.53 美元 |
这是一组场景测算,并非真实客服系统的账单对照。
上下文容量也会被迅速耗尽。按每 KB 约 920 tokens 估算,超过约 430 KB 的文件就塞不进 400K-token 窗口,超过约 1 MB 则塞不进 1M 窗口。其他提示词和对话还会继续占空间。
一张 2 MB 手机照片约产生 190 万 tokens。系统可能处理普通邮件一直正常,遇到较大的附件才报上下文长度错误,因此故障只出现在部分用户身上。
应该在哪一层拦住这些字符串
作者列出的入口很贴近日常开发:HTML 邮件和抓取页面中的 data URI、JSON 里的头像或附件字段、完整返回的工具结果、打印请求体的日志,以及把图表存成 base64 的 .ipynb 文件。
适合清理的位置,是这些内容进入模型文本输入之前。下面这段代码用占位说明替换疑似二进制内容,保留删除长度:
import re
BLOB = re.compile(r"data:[\w/+.-]+;base64,[A-Za-z0-9+/=]+|[A-Za-z0-9+/=]{200,}")
def strip_blobs(text):
return BLOB.sub(lambda m: f"[binary data, {len(m.group())} chars removed]", text)
html = '<p>Thanks!</p><img src="data:image/png;base64,' + "iVBORw0KGgo" * 3000 + '">'
print(len(html), "->", len(strip_blobs(html)), "chars")
要看的是正则中的 {200,}:它会匹配连续至少 200 个、符合该字符集合的字符,并没有验证内容一定是 base64。
因此,长哈希、API token、压缩代码甚至 DNA 序列都可能被删掉。作者也明确承认这是粗糙方案,需要按数据调整阈值,并在初期记录清理情况。
如果任务就是排查编码问题,应该保留短样本。如果模型确实需要看图,则应使用请求中的 image part。作者给出的量级是,高分辨率图片仍可能消耗约一千到一万多 tokens,具体取决于供应商;它有成本,但通常远低于把整个文件当文本发送。
我的判断
作者最有说服力的部分,是把「输入为什么异常大」拆成了可测的编码膨胀和分词损耗,并提供了文件实测。拿它检查邮件机器人、页面抓取和工具调用链路,很实用。
但「所有文件都按 KB × 920」只能用作预警。测试只有一种分词器,Claude、Gemini 使用各自的分词器,原文没有给跨供应商对照。模型价格、图片计费方式也不能直接套用到自己的服务。
清理策略上,我更倾向于先按结构选字段:从 JSON 中取正文和必要元数据,从 HTML 中提取任务需要的内容。正则适合补漏,但原文没有提供它在真实数据上的误删率,也没有与结构化提取做对照,不能据此认定全局替换就是最佳方案。
该删除的是任务不需要的文件载荷,判断依据应当是任务和字段含义。
能拿来做什么
- 给邮件、抓取页面和工具结果进入模型的路径增加输入检查,比较清理前后的字符数与实际 input tokens,优先定位图片、附件和完整请求体。
- 在 Node 服务中组装提示词时,明确选取 JSON 字段,避免直接把含头像或附件的整个响应序列化后发送。
- 根据任务分流图片:只需理解邮件正文时移除签名图,需要识图时使用 image part,排查编码时保留短样本。
- 用同一个文件在自己的供应商上测试,并读取响应中的 token 用量,确认成本和上下文预算,再决定阈值。