用三种方法减少 Agent 处理大 JSON 的开销
AWS 针对 AgentCore 处理数 MB JSON 的场景,将大对象移至 S3、按需分页取回结果,并通过字典压缩减少重复内容。文章报告三种方法组合后,单轮 token 用量最多下降 71%,延迟最多下降 80%。
AI 深度解读
一个工具调用就返回超过 80,000 个 token,后面每多问一轮,模型还要背着这份历史继续处理新结果。AWS ML Blog 用 Flightscape 的训练排班 Agent 说明,处理 20 MB 以上的 JSON 时,可以让工具拿到完整数据,同时让模型先看摘要、按需取明细。
他们用同一份 23 MB 数据做了优化前后对比,整套改动最高省了约 71% 的 token,平均追踪耗时最多降了近 80%。这篇最值得拆开的地方,是会话状态怎么存、工具结果怎么回,以及这两处为什么要分别处理。
把 JSON 搬出会话,工具照样能查原文
Flightscape 的 Agent 用来检查机组训练排班是否符合业务规则。优化器读入请求 JSON,生成排班结果,业务规则校验器再生成校验报告。用户可以通过对话查询这三份数据,例如某位机组成员被排到哪场训练,或者一项分配为什么没通过校验。Agent 用 LangGraph 编排,运行在 Amazon Bedrock AgentCore 上,有 40 多个工具。优化前,多数调用的平均请求耗时超过 15 秒,遇到更大的数据集,上下文窗口可能先于推理过程耗尽。
这里容易混淆两份状态。运行中的 GraphState 可以持有已经解析好的 TOPTRequest 和 TOPTResponse,供工具执行。跨轮保存的 PersistedState 则只留下序列化消息和引用,比如 request_ref、responses_ref、validation_report_ref,统计和缓存也各有引用。轮末用 dehydrate_state() 拆出大对象,由 S3ArtifactStore 写入 Amazon S3,Amazon Bedrock AgentCore memory 保存轻量状态。下一轮用 hydrate_state() 恢复消息和引用,工具需要原始数据时再读取和解析。
S3 对象的引用也有讲究。_content_hash() 把 JSON 按键排序、用紧凑分隔符序列化,再对字节计算 SHA-256。同样的内容会得到同一个对象键。put_json() 和 get_json() 还共用一份进程内缓存,同一次调用里对同一对象反复读写,可以省掉重复的 S3 请求。文章展示的实现环境是 Python 3.12+,依赖 boto3、langchain-core 和 langgraph,并需要启用 AgentCore memory、准备 S3 桶和可用的 Amazon Bedrock 模型。原文没有给出具体模型名。
列表给样本和分页,对象给字段结构
状态搬完以后,工具仍然可能把整张结果表塞回消息历史。列表超过 _LLM_SAMPLE_SIZE 时,作者把完整结果写入 S3,只给模型 _oversized、_result_handle、total 和 sample。模型先知道有多少条、每条长什么样,确实需要更多记录时,再凭句柄翻页。
下面这段给模型提供了读取列表切片的入口,默认从第 0 条开始取 50 条。
def get_result_page_tool(handle: str, field: Optional[str] = None, offset: int = 0, limit: int = 50):
payload = artifact_store.get_json(handle)
if isinstance(payload, list):
return {
"handle": handle, "offset": offset, "limit": limit,
"total": len(payload),
"items": payload[offset: offset + limit],
}
# ... (dict field extraction, see GitHub repository)
留意 payload = artifact_store.get_json(handle) 这一行。这个片段先拿到完整对象,再切出一页给模型。分页直接省的是进入模型上下文的数据量,缓存未命中时,读取和解析整个对象的开销仍在。
对象的麻烦在于层级。工具可能同时返回多组列表、嵌套字典和几个标量。模型需要知道哪个字段有明细,才能决定下一次该查哪里。下面这段生成字段描述,并带上完整对象的句柄。
def _oversized_descriptor(payload: Dict[str, Any], handle: str) -> Dict[str, Any]:
fields: Dict[str, Any] = {}
for key, value in payload.items():
if key.startswith("_"):
continue
if isinstance(value, list):
fields[key] = {"type": "list", "count": len(value), "sample": value[:5]}
elif isinstance(value, dict):
fields[key] = {"type": "dict", "keys": len(value)}
else:
fields[key] = {"type": "scalar", "value": value}
return {"_oversized": True, "_result_handle": handle, "fields": fields}
留意 value[:5] 取的是前 5 项,样本是否有代表性取决于原列表的顺序。嵌套字典只给键数,标量则保留原值。外层先用 json.dumps(llm_view, default=str) 序列化,结果超过 _MAX_TOOL_CONTENT_CHARS 时,再把完整数据存起来并改回字段描述。原文没有给出这两个阈值的具体数值。
省了多少,取决于你跑的是哪组问题
他们在优化前后使用相同的数据集和问题,通过 Amazon Bedrock AgentCore Observability 比较 token 和追踪耗时。5 问对话的总 token 从约 289,500 降到 82,900,降幅约 71%,平均追踪耗时从 15.4 秒降到 3.1 秒,降幅近 80%。换成 100 个样本问题,总 token 从 2,360 万降到 850 万,降幅 64%,平均追踪耗时从 7,930 毫秒降到 2,461 毫秒,降幅 69%。
最重的单轮查询要列出所有校验类别中的有效机组。它的追踪时间从将近 2 分 46 秒缩到约 15 秒。作者也观察到,多轮追问时,上下文增长更容易控制。文章给出了三项改动合并后的数据,没给逐项消融实验,因此无法从这些数字判断分页、对象压缩和状态外置各贡献了多少。
我的判断
这套方案最扎实的地方是让模型只接收回答当前问题需要的数据。比如用户问一项排班为什么校验失败,先找到对应记录,再读这条记录的失败原因,通常比把整份校验报告交给模型更划算。和直接截断输出相比,句柄保留了查后续数据的入口。不过,作者所说的能力保留,证据主要是完整数据仍然可取。文章没有给出优化前后的答案准确率,也没有统计模型看过样本之后有多少次会继续查、又有多少次过早作答。这部分应当视为项目经验。
如果产品的大多数问题都带明确条件,比如按机组 ID 查冲突,给工具加过滤参数可能比让模型逐页翻更直接。反过来,用户常常先问有哪些记录,再临时决定看哪个类别,字段描述和分页就能派上用场。还要留意两个实现细节。SHA-256 保证相同内容映射到同一个键,展示的 put_json() 只在进程内缓存命中时跳过上传,跨进程是否能减少 PUT 得另行验证。字符阈值也只是触发压缩的条件,长字符串或特别大的样本项仍可能让描述超预算。
能拿来做什么
- 给现有 Agent 的工具调用加上输出大小、token 用量和耗时记录。挑一轮大结果查询,再加几轮追问,对照看是哪条工具消息反复撑大上下文。
- 在 Node 工具层先挑一个返回大数组的接口,改成返回总条数、少量样本和结果句柄,再开放带
offset、limit的取页工具。用只需要首页和必须查后续页的两种问题验证行为。 - 如果会话状态里保存着整份导入结果或校验报告,可以把原件放进对象存储,会话只留消息和引用。做前端对话联调时,拿一个需要跨轮找回旧报告的问题,确认模型能取到正确的明细。
- 用同一批问题比较改动前后的 token、耗时和答案正确性,单独加一道必须找到样本之外记录的题。这样能测出省下来的 token 有没有以漏查为代价。