基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-22 00:23

英伟达研究:摘要加检索可替代部分长上下文

The Decoder#上下文管理#英伟达#检索
Editor brief · 编辑速览

据报道,英伟达研究人员发现,周期性摘要结合定向关键词搜索,在测试中通常能以更低成本取得接近完整上下文的结果。团队还提出让模型依赖简短笔记工作的方向,质疑持续扩大上下文窗口的必要性。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

把整本小说塞进上下文,已经成了大模型的能力展示。但 Nvidia 一个研究团队提出:很多任务未必需要这么大的窗口,定期总结和有针对性地查找信息,也能取得相近效果,同时避免为过量上下文付出成本。

这条消息值得程序员关注,因为它触及 AI 应用的一个实际选择:每次都把材料全部交给模型,还是先整理、再按需提供。不过,所给原文只有付费墙前的导读,没有实验细节,能支持的结论需要收窄。

能装下《战争与和平》,就需要每次都装满吗

上下文窗口(context window)是模型生成回答时能够同时看到的信息范围,可以把它理解为当前工作的桌面。桌面越大,能摊开的材料越多,但材料多不等于任务一定完成得更好。

原文用一组数字说明窗口增长:GPT-4 在 2023 年 3 月推出时,上下文为 8,192 tokens;文中称 GPT 5.6 Sol 可以处理约 100 万 tokens,约为前者的 120 倍,足以容纳托尔斯泰的《战争与和平》。

这些数字描述的是容量,不是回答质量。能一次接收整本书,并不能单独证明每个问题都需要整本书参与处理。

窗口上限决定能放多少信息,任务需求才决定该放哪些信息。

定期总结和定向查找,替代的是什么

导读转述了 Nvidia 研究团队的发现:在许多测试中,定期总结与有针对性的信息查找,效果和使用大上下文大致相当。

这两种做法承担不同工作。定期总结把此前的信息压缩成较短的记录;定向查找则围绕当前问题寻找需要的材料。前者减少持续携带的内容,后者在需要时补充信息。

研究团队质疑的是:为了完成任务,是否有必要一直把大量原始内容留在上下文里。原文同时指出,这种做法往往过量,而且昂贵。

但「许多测试中效果相近」仍然是一个有限结论。所给内容没有交代测试任务、模型配置、总结频率、查找方式,也没有列出成本、准确率或耗时数据。因此,无法判断它在哪些任务上成立,更无法据此选出一套具体实现。

我的判断

我赞成先检查信息是否必要,再决定是否扩大上下文。对于 AI 应用,输入组织方式值得和模型能力一起评估。

但标题里的「死胡同」比导读提供的证据更强。现有内容只能支持「部分任务不需要超大窗口」,还不足以支持「超大窗口没有价值」。相较于全文输入,总结可能丢掉细节,定向查找也可能漏掉关键材料;哪种损失更影响结果,需要结合任务验证。

这也不能简单归为作者的经验之谈:导读明确提到了研究测试。只是测试细节没有提供,我们目前拿到的是对研究结果的转述,无法独立评估证据强度。

能拿来做什么

  • 给 AI 编程助手组织输入时,可以先提供当前问题相关的代码和说明,再按需要补充材料,把全文输入作为可比较的方案。
  • 对持续多轮的编程任务,可以尝试定期整理目标、已做决定和待办事项,同时保留返回原始记录核对细节的途径。
  • 用同一组真实任务比较完整上下文与总结加定向查找,记录任务完成情况、token 消耗和耗时;原文没有给出可直接套用的成本收益数字。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 The Decoder,原文版权归原作者所有。

阅读原文
上一篇
Agent 跨服务失败后,如何补偿已完成操作
下一篇
Agent 上下文裁剪:保留关键句并支持回读

资讯速览

The Decoder · 2026-11-22 00:23

AI 评分 8.0 / 10

相关标签

#上下文管理#英伟达#检索

继续阅读

  • 复用提示词前缀,减少重复输入开销
  • Agent 跨服务失败后,如何补偿已完成操作
  • Agent 上下文裁剪:保留关键句并支持回读
  • Next.js 长耗时音频任务的异步架构
  • CI 连红六天,19 个 PR 仍被合并