长上下文不等于模型能有效利用全部信息
文章汇总四项研究,讨论输入变长时模型任务表现下降的“上下文腐化”现象,其中一份报告覆盖 18 个模型。它提醒开发者区分标称上下文容量与实际信息利用能力,重视输入筛选。
AI 深度解读
给 AI 更大的上下文窗口,不等于它能更好地利用里面的信息。原文串起四项研究,指向同一个问题:答案明明还在输入里,材料一变长,模型却更容易答错。作者把这种现象称为「上下文腐化」(context rot)。
对经常使用 AI 编程的开发者,这比窗口支持多少万 tokens 更值得关心。旧方案、过期代码和已经解决的报错,都可能干扰下一次判断。原文的结论是:把材料留在文件里,按需检索,认真删掉误导信息,往往比一次性全部塞进去更有效。
答案没变,为什么读得更多反而答得更差
2025 年 7 月,Chroma 的 Kelly Hong、Anton Troynikov 和 Jeff Huber 发布技术报告,测试了来自 Anthropic、OpenAI、Google 和 Alibaba 的 18 个模型,包括 Claude Opus 4、GPT-4.1、Gemini 2.5 Pro 和 Qwen3。
其中最直观的实验使用 LongMemEval。它要求模型根据长聊天记录回答问题,每道题分别提供两种输入:约 113,000 tokens 的完整历史,以及约 300 tokens 的相关片段。
两种输入都包含答案,18 个模型却都在短版本上取得了明显更好的成绩。多出来的约 112,700 tokens 没有补充必要事实,只增加了寻找和判断的负担。
窗口容量说明模型能接收多少信息,不能保证它能有效利用多少信息。
研究还测试了一个更简单的任务:把同一个词重复很多次,中间放入一个不同的词,让模型原样复制。共 1,090 种变体,长度从 25 个词到 10,000 个词,所有模型的准确率都随长度增加而下降。
部分 Gemini 模型在约 500 至 750 个词时开始输出随机词;另一些模型不断重复同一个词,直到耗尽输出额度。Claude Opus 4 约有 2.9% 的尝试拒绝执行,GPT-4.1 约为 2.6%。
这里要区分单位:复制实验按词数计,聊天历史实验按 tokens 计,不能直接混用。它们共同支持的是:即便任务要求没有变复杂,输入变长也可能让执行变得不可靠。
最容易误导模型的,是那些差一点就对了的材料
完全无关的内容容易识别,与答案相近的内容却更危险。
Chroma 在材料里加入了「干扰项」:它们讨论同一主题,看起来像答案,却不能真正回答问题。加入一个,准确率就下降;增加到四个,表现进一步变差。
不同模型的失败方式也不同。Claude 系列更倾向于表示无法确定答案,GPT 系列则出现了最高比例的自信错误回答。这个结论属于报告中的测试结果,不能直接当成所有版本、所有任务的固定性格。
作者把它联系到 AI 编程会话:重构前后的文件、第一版与第三版方案、一小时前已经修好的报错,都与当前任务高度相关,但其中一些已经失效。它们不是普通噪声,而是看起来可信的错误线索。
报告还有个反常结果:把周围文本打乱成不连贯的顺序后,18 个模型反而都更容易找到答案。研究没有给出确定解释,因此不能据此建议大家打乱文档。它只能提醒我们,组织良好、主题相近的材料,也可能与正确答案竞争。
NoLiMa 从另一面验证了这个问题。这项由 Adobe 和 LMU Munich 研究者提出、发表于 ICML 2025 的基准,刻意减少问题与答案之间的字面重合。模型不能只靠搜索相同词语,必须理解二者的联系。
参测的 13 个模型都宣称至少支持 128,000 tokens。在不足 1,000 tokens 时,它们表现良好;到了 32,000 tokens,13 个里有 11 个的得分跌到各自短上下文成绩的一半以下。表现较好的 GPT-4o,也从 99.3% 降到 69.7%。
对程序员的启发很具体:提问时保留规格里的领域词。文档写的是 tenant,就先沿用这个词,别随手改成「客户」后,再默认模型一定能准确关联。
编程 Agent 的优势,可能来自每次只处理一小步
2026 年 2 月,Ravi Raju 等人在 SWE-bench Verified 上研究真实缺陷修复。他们观察到,成功的 Agent 运行通常把上下文控制在 20,000 至 30,000 tokens 以下,累积更多上下文的运行成功率更低。
单看这个观察,还不能证明长上下文导致失败。难题也可能让 Agent 尝试更多步骤,进而留下更长记录。
研究者随后做了直接测试:把相关文件放进一个 64,000-token 的提示,要求模型生成补丁。Qwen3-Coder 解决了 7% 的任务,GPT-5-nano 一个也没有解决,失败包括编造 diff、修改错误文件等。
作者据此强调,Agent 的有效性来自把工作拆成短步骤,而非一次性理解超长输入。这一判断有实验支撑,但研究只用了小型低成本模型和 100 个样本,不能把具体成功率套到更强模型上。
2026 年 3 月,Weili Cao 等人的研究提供了另一条路线。他们处理的任务输入规模从 188,000 tokens 到三万亿 tokens,却没有把全部文本装进提示,而是保存在文件里,让编码 Agent 使用普通工具搜索。原文称,这些 Agent 平均超过已发表的最佳成绩 17.3%。
这里的三万亿 tokens 是外部材料规模,不是模型一次读入的上下文长度。原文也没有展开 17.3% 的计算口径,不宜进一步解释成某种确定的相对提升。
处理海量材料的能力,可以来自工具检索与分步执行,不必依赖一次读完。
Anthropic 将按需读取称为即时检索(just-in-time retrieval)。主会话保留任务、约束和当前结论,需要细节时再打开文件;探索工作也可以交给子 Agent,再回传摘要。原文引用的摘要长度通常为 1,000 至 2,000 tokens,但这不是所有任务都适用的最佳长度。
我的判断
我认同原文对「填满窗口才算充分利用模型」的反驳。尤其在 AI 编程里,删除失效信息不只是节省 tokens,也是在减少候选答案之间的冲突。
但「上下文越短越好」同样不是这些研究能证明的。300-token 版本已经包含答题所需材料;实际工作里,开发者未必提前知道哪些文件相关。删掉关键调用方、类型约束或测试要求,也会让模型缺少依据。
因此,比固定长度更实用的标准是:当前输入是否足以完成下一步,里面是否存在互相冲突的旧结论。
证据的边界也要保留。Chroma 销售检索数据库,研究方向符合其商业利益,不过公开方法和代码有助于检查结果。2025 年的测试也不代表最新模型;NoLiMa 后续版本提到,GPT-4.1 等较新模型表现更稳,但仍会在达到宣称长度前明显退化。
相比整库粘贴,按需检索更容易控制输入;相比不断续聊,新会话加外部笔记更容易清除旧信息。但原文没有为这些工作习惯逐一提供对照数据,它们仍包含作者的经验判断。检索也会漏文件,摘要也会丢约束,不能把换一种组织方式当成质量保证。
能拿来做什么
- 给 AI 编程任务换会话时,附上一份简短交接记录,写清目标、已确认的决定、当前文件和未解决问题;让新会话从有效状态继续。
- 修复前端或 Node 项目问题时,先提供报错、复现步骤和文件路径,让 Agent 按需要读取相关文件,避免一开始就粘贴整个目录。
- 修改方案后,明确标注旧方案失效,并更新进度文件;已经修复的报错也要注明状态,防止 Agent 再沿旧线索排查。
- 遇到大范围代码探索,可以让子 Agent 返回相关路径、关键结论与待确认项;主会话根据这些线索继续读取,并沿用代码和规格中的领域词。