按模型上下文预算触发对话压缩
作者将桌面 AI 助手的摘要触发方式从固定消息数改为上下文预算,避免少量超长消息提前耗尽窗口。窗口大小优先采用环境变量显式配置,再读取供应商模型目录中的能力字段。
AI 深度解读
长对话助手可能还没攒够触发摘要的消息数,上下文就已经满了。Krish Verma 给桌面助手 Ankita AI 改了一套压缩机制:先读取当前模型的容量,扣除回答、工具和系统提示等开销,再判断是否生成摘要。
这次改动值得看的,是它把「聊了多少条」改成了「还剩多少空间」。但作者也承认,85% 的触发线没有经过充分测量,模型写进摘要的事实也没有独立核验。预算算得更细,不等于记忆就可靠了。
为什么 36 条消息的触发线会来不及
Ankita AI 会持续处理规划、工具调用和决策。作者此前的方案是在积累到 36 条消息时,将对话压成一份 2,000 字节的摘要。
问题是,消息条数不能代表上下文占用。5 轮特别长的对话,就可能先碰到模型限制。摘要还没触发,历史裁剪器已经悄悄丢掉最早的内容。
摘要必须赶在历史被裁掉之前生成,消息数量只能作为兜底。
新方案通过 src/core/model-capabilities.mjs 中的 modelContextWindow() 解析模型窗口,优先级分三层:
- 环境变量
CONTEXT_WINDOW的显式配置优先。 - 否则由
declaredContext()依次读取模型目录中的context_length、context_window、capabilities.limits.max_context_window_tokens,采用第一个有效正整数。 - 如果元数据缺失或格式异常,保留 32,768 tokens 的回退值。
原文提到,Baseten 的 Muse Spark 和 Modal 的 DeepSeek 部署都声明支持 1,048,576 tokens。这个数来自提供商目录,代码并没有实测它是否准确。
切换模型时,聊天代理、工具规划器和语音会话也会重新解析窗口,相关处理位于 src/core/bootstrap.mjs 和 src/core/voice-session.mjs。否则,界面上换了模型,内部还拿旧预算计算,后面的判断就都偏了。
85% 到底是哪个预算的 85%
触发参数是 src/core/agent.mjs 中的 COMPACTION_PRESSURE_RATIO = 0.85。但它比较的不是模型标称窗口,而是扣除其他开销后,真正留给历史的空间。
首先,outputReserve() 为模型回答预留容量。显式配置的 MAX_TOKENS 优先;否则考虑提供商的 requestDefaults.max_tokens 和强制下限 minMaxTokens。作者强调,要按请求实际会使用的配置计算。
如果这些信息都没有,回答预留量以窗口的四分之一为上限,同时不少于 256 tokens,避免给小窗口机械地预留默认的 4,096 tokens,挤掉历史空间。
其次,toolBudgetBytes() 扣除工具 schema、个人记忆和系统提示词的占用;再通过 CONTEXT_OVERHEAD_BYTES 扣除 1,024 字节的协议开销。
最后才检查 cost >= available * 0.85。旧的 36 条消息阈值仍然保留,但大消息场景会先触发预算检查。
这里还有个实现细节需要打问号:原文同时出现了 token 窗口和字节预算,却没有展示两者如何换算,无法据此判断估算精度。
摘要的展示和重复触发也一起修了:生成后立即显示在聊天区和桌面悬浮区域,并带独立标签。一次独立审查发现,历史没有变化,摘要计数仍会从 1 → 2 → 3;修复后保持 1 → 1 → 1,两次摘要之间还有 8 轮冷却。
42 条压到 12 条,证明了什么
作者在 docs/verification/context-and-subagents.md 记录了一次真实的 Agent.send 调用:使用 Kilo 上的匿名免费模型 reflection/beam-free,其声明窗口为 1,048,576 tokens。
这次调用把 42 条消息压到 12 条,保存了摘要,后续回答还能记起合成细节「Juniper Harbour」。
摘要请求返回 HTTP 200,设置为 max_tokens=400;实际 prompt 用量 724 tokens,completion 用量 338 tokens,其中包含 224 reasoning tokens,报告费用为 0。之后的回答请求使用 max_tokens=1024。
这能说明压缩、保存和后续读取这条链路跑通了,也保住了一个指定细节。它不能证明所有约束、决策和工具结果都保留正确,更不能把这次费用为 0 推广到其他调用。
另一项短历史验证也有价值:在较小的历史配置下,修复前摘要调用为零,修复后恰好一次。它补上了「消息不多,但仍需压缩」的场景,不过原文没有给出完整输入和配置。
我的判断
我认可先算预算再压缩。对带工具调用的助手来说,工具定义、系统提示和回答预留都是真实开销,只盯着聊天记录会漏算。
但 0.85 仍是经验参数。作者没有提供与其他阈值、或「预测下一轮放不下再压缩」方案的对照数据。按完整窗口粗看,32,768 tokens 的 15% 不到 5,000 tokens,而百万级窗口的余量大得多;实际历史预算还要继续扣除其他占用,同一比例未必适合所有模型。
按下一轮成本触发更贴近实际需求,但回答和工具返回长度未必能提前准确预测。保留压力阈值,再检查即将发送的请求预算,是值得验证的组合,原文没有验证它。
更大的风险在摘要内容:写摘要和读摘要的是同一个模型,而且摘要以用户角色进入历史。提示词里的「Do not invent facts」只是一条要求。模型一旦虚构某项决定,后续就可能把它当成用户说过的话。预算管理解决了能否装下的问题,事实核验仍然缺位。
能拿来做什么
- 给 Node 对话服务增加预算计算时,可以先列清模型窗口、输出预留、工具定义、系统提示和历史各自的占用,并在切换模型后重新计算。
- 验证压缩机制时,同时覆盖「少量超长消息」和「大量普通消息」,检查摘要是否在裁剪之前触发,以及历史不变时是否重复生成。
- 做聊天前端时,让摘要立即可见并标注来源,方便用户发现遗漏和错误;不要让模型生成的摘要看起来像用户原话。
- 测试摘要质量时,除检查某个细节能否被回忆,还应检查关键约束有没有遗漏、未确认事项有没有被写成决定,并保留可追溯的原始记录。