AI Agent 上下文管理:精准控制输入规模
探讨 AI agent 系统如何在大规模数据场景下精确控制上下文大小。这是构建高效 agent 应用的核心问题。
探讨 AI agent 系统如何在大规模数据场景下精确控制上下文大小。这是构建高效 agent 应用的核心问题。
很高兴你来到这里。每周一至周五,我们都会为你送上 TNS 的优质内容,帮助你及时掌握最新动态,始终保持最佳状态。
请查看收件箱中的确认邮件,你可以在其中调整偏好设置,还可以加入更多群组。
在你喜爱的社交媒体平台上关注 TNS。
在 LinkedIn 上关注 TNS。
在等待第一期 TNS 新闻简报期间,不妨先看看最新的精选与热门报道。
随着越来越多的公司将 AI Agent 接入内部数据系统的最深处,它们如何确保这些 Agent 真正理解企业的运作方式?目前,许多组织仍不得不手动维护一个 Markdown 文件,并寄希望于每次业务发生变化时,都能抽出时间重写它。
Modus 则认为,自己找到了一种更好的办法。这家初创公司本周正式结束隐秘开发阶段,并已获得 1000 万美元融资。它正在构建一种业内逐渐称为“上下文仓库”(context warehouse)的系统:这一层与公司现有的数据仓库并行运行,持续梳理企业各个系统中的业务运作方式,并在 AI Agent 需要时,只向其提供这张业务地图中相关的部分。
具体来说,Modus 会从 GitHub、dbt、Jira、Snowflake 和 Postgres 等来源抓取相关资产,并通过一个名为 Context Miner 的系统,持续学习企业的运作方式。挖掘出的信息会被转换为“动态生成的 skills”:这是一种简短、针对特定用途的资料简报,由另一套名为 Context Composer 的系统实时组装,并在 Agent 收到任务的那一刻交付给它。
Modus 联合创始人兼 CTO Tomer Mesika 告诉 The New Stack,这种挖掘会持续进行,并由其内部逻辑决定需要检查哪些内容,以及检查频率。
“我们设置了大量机制,用来判断应该从组织中挖掘什么、以怎样的频率挖掘、如何寻找变化、什么时候需要深入探查,以及什么时候不需要这样做。”Mesika 说道。
“我们设置了大量机制,用来判断应该从组织中挖掘什么、以怎样的频率挖掘、如何寻找变化、什么时候需要深入探查,以及什么时候不需要这样做。”
Modus 联合创始人兼 CEO Daniel Shimoni 直接用数据仓库作类比,以突出他试图弥合的缺口。他认为,公司多年来一直在建设用于存储和组织数据的基础设施,但对于构建在数据之上的业务理解,却没有任何与之对应的系统。
“数据仓库背后有一套逻辑——公司已经知道,数据仓库就是管理数据的地方。”Shimoni 告诉 The New Stack,“但它们在哪里管理上下文?它们究竟在哪里了解组织中存在哪些上下文,并利用这些上下文确保 Agent 只获得真正需要的信息?”
Shimoni 表示,即便只是完成第一步,本身就已经足够困难。但随着业务变化,持续保持公司上下文的准确性则更加困难。
“我们注意到,第一次构建上下文本身就已经是一项挑战,但维护上下文才是更大的问题。”Shimoni 说道,“因此,Modus 会不断从公司的实际活动中学习。每当业务发生变动或变化时,它都会确保只把相关且最新的上下文提供给 Agent。”
“第一次构建上下文本身就已经是一项挑战,但维护上下文才是更大的问题。”
Shimoni 表示,Modus 的目标客户包括工程团队、CTO 办公室、研发副总裁、数据团队,以及一个较新的团队类别——AI 团队。
“去年还没有多少 AI 团队;现在看来,很多数据团队正在向数据与 AI 副总裁团队或 AI 赋能团队转型。”Shimoni 说道,“所以,我们真正面向的是那些肩负组织 AI 赋能使命的人,他们需要确保 AI 能够在整个组织中规模化应用。”
如果能够承诺帮助企业削减成本,那么向企业推销一个亮眼的新型上下文仓库就会容易得多。今年,支出已经成为企业采用 AI 时最具代表性的焦虑之一:公司为了寻找更便宜的模型而不断更换提供商,甚至有整套经济模型围绕单个 token 的价格建立起来。
“你希望让更大的模型处理繁重而复杂的任务,从而创造巨大价值。问题在于,它们把大量精力和大量 token 消耗在了琐碎任务上。”
Mesika 表示,这是 Modus 运作方式的核心组成部分。他认为,frontier model 最终会把相当一部分 token 预算花在与实际回答问题无关的工作上。
“你希望让更大的模型处理繁重而复杂的任务,从而创造巨大价值。”Mesika 说道,“问题在于,它们把大量精力和大量 token 消耗在了琐碎任务上。”
按照 Mesika 的说法,这些琐碎任务包括翻查 pull request 或 Jira ticket,只为判断哪些信息相关,然后 Agent 才能开始执行分配给它的工作。
解决这个问题的一种方式,是把信息筛选工作交给更小、更便宜的模型。Mesika 表示,Modus 又向前推进了一步:它不会等到问题提出时才检索上下文,而是将小型语言模型与搜索引擎、向量搜索和图数据库结合起来,提前构建整套系统,让它们在后台持续完成这项工作。等到昂贵的 frontier model 介入时,拿到的永远都是一份已经整理完成、仅包含其所需信息的简报。
在离开原有岗位、于 2025 年 9 月共同创办 Modus 之前,Shimoni 和 Mesika 分别就职于两家以数据为核心的公司:前者来自 go-to-market 数据平台 Lusha,后者来自网络安全数据公司 Cyera。
两人已经相识多年。在此前一年中,他们花了大量时间交流各自的观察,并发现自己在截然不同的工作中遇到了同一个问题。
“我们认为,这是一个值得解决的问题。现在看来,我们判断得非常准确,因为所有人都在讨论上下文。”
“其中一些挑战非常相似——我们该如何把大量不同的数据资产整合到同一个地方,让 AI 可以在其中工作?”Shimoni 说道,“我们开始注意到,这正是缺失的一环:如何让 AI 有把握地在整个公司范围内规模化运行。我们认为,这是一个值得解决的问题。现在看来,我们判断得非常准确,因为所有人都在讨论上下文。”
Modus 成立后不久便完成了一轮此前未公布的 1000 万美元种子轮融资,由 Insight Partners 领投。其他投资方包括 Soma Capital 和多位天使投资人,其中包括 Cyera 与 Wix.com 的创始人。公司于 2026 年 1 月开始招聘首批员工。
Modus 的主张所传达出的更广泛结论,如今已成为今年 AI 圈最常听到的论调之一:模型本身已经不再是瓶颈;现在限制 AI 系统的,是围绕模型构建的一切。对于 Modus 而言,这一认识几乎从公司创立之初便已存在。
“即使在去年……我们也已经看出,模型能力并不是瓶颈。”Shimoni 说道,“更重要的是确保它们真正能够访问所需的上下文,从而给出正确答案。”