Vercel开放AI网关全链路追踪导出

Vercel Blog#Vercel#OpenTelemetry#可观测性

Editor brief · 编辑速览

Vercel AI Gateway现可为每次请求生成OpenTelemetry追踪，并通过Drains发送到兼容OTLP/HTTP的观测平台。追踪覆盖路由、重试、令牌成本、首Token延迟和响应状态，且不包含提示词与生成内容。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

AI Gateway 现在会为每个请求生成一条 OpenTelemetry trace。Pro 和 Enterprise 团队可以通过 Vercel Drains，将这些 trace 发送到任何兼容 OTLP/HTTP 的端点，包括 Braintrust、Dash0、Kubiks、Sentry 和 Statsig 的原生集成。

每条 trace 都会展示完整的请求生命周期，包括：

Model 和 provider 路由
Model 和 provider 路由
fallback 和重试尝试
fallback 和重试尝试
首个 token 响应时间、请求持续时间和响应状态
首个 token 响应时间、请求持续时间和响应状态
Project、deployment、API key、environment 和自定义 tag 归因
Project、deployment、API key、environment 和自定义 tag 归因

Trace Drains 不包含 prompt 或 completion 内容。你可以通过采样控制，决定向每个 drain 导出多少流量。

对于成功传送到每个 drain 的 AI Gateway trace，每 1,000 条收费 0.05 美元，此外还需支付标准的 Drains 费率，即每传输 1 GB 数据收费 0.50 美元。每个请求在成功传送至每个 drain 时仅计费一次，即使 AI Gateway 向多个 provider 发起了多次尝试也是如此。传送失败不会产生 trace 费用。

你可以在团队的 Drains 设置中配置 Trace Drain，也可以在 AI Gateway 文档中了解更多信息。