大模型网关日志该记录哪些字段
文章给出一套网关日志字段,覆盖请求标识、模型、令牌用量、状态、时延、缓存命中和结算成本,可用于排障和成本分析。消息正文可按需采集,用于特定故障复现或质量抽样。
AI 深度解读
LLM 请求一出错,日志往往是排查的第一站。但如果每次调用都把提示词和模型回复写进去,日志也会积攒一份用户输入和业务数据。作者给出的做法很具体:默认记录谁发起了调用、用了什么模型、耗时多久、花了多少钱,只有明确需要时才另行采集正文。
对接过 LLM API 的前端和全栈开发者,可以直接借用这份字段清单。真正容易踩坑的是两个细节:失败时能不能拿到请求 ID,以及缺失的费用会不会被客户端悄悄算成 0。
哪些问题靠元数据就能查清?
作者建议按五类记录字段。身份包括请求 ID、调用密钥和组织的标识。调用规模包括模型、提供方,以及输入、输出和总 Token 数。结果包括状态、延迟和缓存命中情况。剩下两类分别是单次调用的结算费用和起止时间戳。
这份清单已经能回答多数运营问题。按模型汇总费用,可以看钱花在哪儿。把延迟按分位数统计,可以看慢请求拖到了什么程度。状态、缓存命中和密钥标识也能分别用来追踪错误率变化、评估缓存效果和统计各密钥的支出。
作者援引 OpenTelemetry 的 GenAI span 约定。它要求记录操作名和提供方名称,建议记录模型、结束原因、响应 ID,以及输入和输出 Token 数。消息正文可能含有敏感信息,因此要显式启用采集。
为什么还要留意失败路径和费用缺失?
按作者描述,指南中的网关会在每个响应的头部返回请求 ID。客户端应在成功和异常路径都尝试提取这个 ID,并和自己的 trace ID 一起保存。只在成功分支记录,最需要排查的失败请求就可能只剩时间戳可供搜索。
费用也有类似的陷阱。调用无法计价时,网关省略费用响应头,并通过状态响应头标记 unpriced。如果客户端把缺失费用兜底成 0,报表就会把待确认的支出当成免费调用,久而久之和账本对不上。原文没有给出这些响应头的具体名称。
哪些时候才需要留消息正文?
要复现一次和具体输入有关的故障,或者抽样检查回答质量,提示词和回复确实有用。作者描述的网关当前只持久化元数据,因为它也是计费记录。管理员能调整的数据策略只影响仪表盘展示,完整正文日志仍在路线图上。如果几周后还需要找回某条提示词,作者建议在业务侧有针对性地采集,并在复制前完成脱敏。
复制范围也包括 CSV 导出、转发的请求头和接入的第二套观测系统。至于谁改了预算、谁轮换了密钥,作者建议交给独立的审计日志。留存期限应有明确负责人,长期看趋势可以保留聚合数据,请求明细留得短一些,正文留得最短。
我的判断
这套做法最有说服力的地方,是能从排查问题反推要采哪些字段。查延迟、成本和缓存命中时,全量保存对话会扩大数据暴露面,却很少增加这些指标能提供的信息。如果团队经常追查输出质量问题,有目标地采样正文仍有价值,前提是明确采样范围、脱敏方式和留存期限。
这篇短文没有给出实测结果,也没有提供默认留全文与按需留存的对照数据。留存建议属于经验之谈。网关是否总会返回请求 ID、未计价时怎么表示,也要以实际接入的服务为准。
能拿来做什么
- 在 Node 的 LLM 客户端封装里,把网关请求 ID 和本地 trace ID 一起写入日志,并分别检查成功响应、错误响应和无响应时能拿到哪些字段。
- 在费用模型里区分已结算金额
0和unpriced,汇总时单独展示未计价调用数。 - 如果 AI 功能要做质量抽样,在业务侧限定采集范围,并在发往观测平台或导出 CSV 前完成脱敏。