基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 14:59

大模型网关日志该记录哪些字段

dev.to · AI#可观测性#日志设计#数据隐私
Editor brief · 编辑速览

文章给出一套网关日志字段,覆盖请求标识、模型、令牌用量、状态、时延、缓存命中和结算成本,可用于排障和成本分析。消息正文可按需采集,用于特定故障复现或质量抽样。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

LLM 请求一出错,日志往往是排查的第一站。但如果每次调用都把提示词和模型回复写进去,日志也会积攒一份用户输入和业务数据。作者给出的做法很具体:默认记录谁发起了调用、用了什么模型、耗时多久、花了多少钱,只有明确需要时才另行采集正文。

对接过 LLM API 的前端和全栈开发者,可以直接借用这份字段清单。真正容易踩坑的是两个细节:失败时能不能拿到请求 ID,以及缺失的费用会不会被客户端悄悄算成 0。

哪些问题靠元数据就能查清?

作者建议按五类记录字段。身份包括请求 ID、调用密钥和组织的标识。调用规模包括模型、提供方,以及输入、输出和总 Token 数。结果包括状态、延迟和缓存命中情况。剩下两类分别是单次调用的结算费用和起止时间戳。

这份清单已经能回答多数运营问题。按模型汇总费用,可以看钱花在哪儿。把延迟按分位数统计,可以看慢请求拖到了什么程度。状态、缓存命中和密钥标识也能分别用来追踪错误率变化、评估缓存效果和统计各密钥的支出。

作者援引 OpenTelemetry 的 GenAI span 约定。它要求记录操作名和提供方名称,建议记录模型、结束原因、响应 ID,以及输入和输出 Token 数。消息正文可能含有敏感信息,因此要显式启用采集。

为什么还要留意失败路径和费用缺失?

按作者描述,指南中的网关会在每个响应的头部返回请求 ID。客户端应在成功和异常路径都尝试提取这个 ID,并和自己的 trace ID 一起保存。只在成功分支记录,最需要排查的失败请求就可能只剩时间戳可供搜索。

费用也有类似的陷阱。调用无法计价时,网关省略费用响应头,并通过状态响应头标记 unpriced。如果客户端把缺失费用兜底成 0,报表就会把待确认的支出当成免费调用,久而久之和账本对不上。原文没有给出这些响应头的具体名称。

哪些时候才需要留消息正文?

要复现一次和具体输入有关的故障,或者抽样检查回答质量,提示词和回复确实有用。作者描述的网关当前只持久化元数据,因为它也是计费记录。管理员能调整的数据策略只影响仪表盘展示,完整正文日志仍在路线图上。如果几周后还需要找回某条提示词,作者建议在业务侧有针对性地采集,并在复制前完成脱敏。

复制范围也包括 CSV 导出、转发的请求头和接入的第二套观测系统。至于谁改了预算、谁轮换了密钥,作者建议交给独立的审计日志。留存期限应有明确负责人,长期看趋势可以保留聚合数据,请求明细留得短一些,正文留得最短。

我的判断

这套做法最有说服力的地方,是能从排查问题反推要采哪些字段。查延迟、成本和缓存命中时,全量保存对话会扩大数据暴露面,却很少增加这些指标能提供的信息。如果团队经常追查输出质量问题,有目标地采样正文仍有价值,前提是明确采样范围、脱敏方式和留存期限。

这篇短文没有给出实测结果,也没有提供默认留全文与按需留存的对照数据。留存建议属于经验之谈。网关是否总会返回请求 ID、未计价时怎么表示,也要以实际接入的服务为准。

能拿来做什么

  • 在 Node 的 LLM 客户端封装里,把网关请求 ID 和本地 trace ID 一起写入日志,并分别检查成功响应、错误响应和无响应时能拿到哪些字段。
  • 在费用模型里区分已结算金额 0 和 unpriced,汇总时单独展示未计价调用数。
  • 如果 AI 功能要做质量抽样,在业务侧限定采集范围,并在发往观测平台或导出 CSV 前完成脱敏。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
工作智能体的权限与人工复核规则
下一篇
微软自研编码模型进入 Copilot

资讯速览

dev.to · AI · 2026-11-18 14:59

AI 评分 8.0 / 10

相关标签

#可观测性#日志设计#数据隐私

继续阅读

  • 智能体防护工具为何自行解锁存储
  • 工作智能体的权限与人工复核规则
  • 微软自研编码模型进入 Copilot
  • 给编码 Agent 写清交付验收条件
  • Claude Code 可用脚本串联工具调用