Agent 工作负载性能监控实战

Agentic 工作负载与标准 LLM 推理不同，因为它们将多个模型调用、工具执行和推理步骤串联成单一任务。每个循环都可能增加上下文长度，因为工具输出和观察结果会被追加到对话历史中。没有细粒度的监控，你就无法了解工作流变慢的原因、成本积累在哪里，以及工具故障是否正在触发重试风暴。本文涵盖了实用的插桩模式、重要指标，以及可预测的定价如何保持代理系统可靠运行。

为什么代理监控与众不同

传统 LLM 可观测性关注单请求延迟和令牌吞吐量。代理引入了多步骤状态机，其中一个调用的输出成为下一个调用的输入。上下文窗口非线性增长，工具调用增加了网络差异，第三步中的静默故障可能直到第七步才会显现。你需要分布式追踪的思维，而不仅仅是请求日志。

因为代理会迭代，小的延迟峰值会复合。每个循环中阻塞两秒的工具调用会将十个步骤的任务变成二十秒的回归。同样，提示词膨胀——每个步骤追加新观察结果——可能将你推向上下文限制。监控必须捕获每步行为，而不仅仅是聚合 API 使用情况。

代理循环的核心指标

聚焦以下维度：

• 步骤延迟：每次 LLM 推理调用的墙上时间。
• 步骤间开销：工具执行、解析和状态更新时间。
• 上下文窗口利用率：每步的输入令牌数。在按令牌计费的提供商，这驱动成本；在 Oxlo.ai，这影响延迟和模型准确性，但不影响成本。
• 工具成功率：返回有效可用结果的函数调用百分比。
• 重试和循环检测：具有相同参数的重复工具调用或具有相同参数的连续失败。
• 端到端任务时长：从任务启动到最终答案的总墙上时间。

为 OpenAI SDK 插桩

Oxlo.ai 完全兼容 OpenAI SDK。你可以将现有客户端指向 https://api.oxlo.ai/v1，并添加中间件来发出指标，而无需更改应用逻辑。下面的示例包装了聊天补全调用，以记录步骤延迟和输入大小。

import time
import os
import openai
from prometheus_client import Histogram, Counter

client = openai.OpenAI(
    base_url="https://api.oxlo.ai/v1",
    api_key=os.environ["OXLO_API_KEY"]
)

step_latency = Histogram("agent_step_latency_seconds", "Latency per agent step")
input_tokens = Counter("agent_input_tokens_total", "Total input tokens per step")

def agent_step(messages, model="llama-3.3-70b"):
    start = time.perf_counter()
    response = client.chat.completions.create(
        model=model,
        messages=messages,
        tools=available_tools,
        stream=False
    )
    duration = time.perf_counter() - start
    step_latency.observe(duration)
    
    if response.usage:
        input_tokens.inc(response.usage.prompt_tokens)
    
    return response

这种模式将插桩保持在传输层附近。由于 Oxlo.ai 对热门模型没有冷启动，延迟直方图中的异常值更可能是应用层问题（例如过大的提示词或低效的工具实现）所致，而非平台预热问题。

检测故障模式

代理的失败方式与单轮聊天不同。使用你的指标尽早检测这些模式。

上下文截断：如果输入令牌接近模型上下文限制，代理可能会丢失指令。监控令牌计数并在超过阈值时触发摘要步骤。

无效工具调用：追踪模型发出格式错误的函数名或参数的时间。这通常是提示词漂移或模式不匹配的信号。

重试风暴：计算具有相同参数的顺序工具调用。高计数表示模型卡住了并在浪费请求。

延迟级联：将步骤间开销与步骤延迟进行比较。如果工具执行占主导地位，优化工具，而非模型。

将成本与性能挂钩

对于代理来说，成本可见性更难，因为提示词长度不可预测。在按令牌计费的提供商，单个长上下文步骤可能会使你的账单暴涨。按令牌预算需要估算工具输出大小，这不切实际。

Oxlo.ai 使用按请求定价。无论提示词长度如何，你每个 API 请求支付一个统一费率。这使得每个代理步骤的成本可预测。你可以通过循环计数和模型选择来预算，而非令牌计算。对于长上下文和代理工作负载，这种结构可以显著降低成本波动并简化容量规划。参见 https://oxlo.ai/pricing 了解计划详情。

这种可预测性在使用大上下文窗口模型时特别有用，例如 DeepSeek V4 Flash（1M 上下文）或 Kimi K2.6（131K 上下文）。你可以将大量工具输出和推理追踪输入到提示词中，而无需观看按令牌计量的成本线性增长。

开箱即用的监控工具

你不需要专有堆栈来监控代理。标准工具与 Oxlo.ai 配合良好，因为该平台暴露了熟悉的 OpenAI 兼容 API。

• OpenTelemetry：为你的代理编排器插桩以发出追踪。每个步骤成为一个跨度，让你轻松了解时间花在哪里。
• Prometheus 和 Grafana：收集步骤延迟、错误率和循环计数器。构建在 p99 延迟或重试阈值时发出警报的仪表板。
• LLM 可观测性平台：Langfuse 或 Helicone 等工具通过更改基础 URL 与 Oxlo.ai 配合使用。它们提供开箱即用的令牌追踪、追踪可视化和用户反馈收集。
• 结构化日志：为每一步发出 JSON 日志，包括模型名称、工具调用、重试计数和最终输出。当追踪发散时，这简化了事后调试。

总结

Agentic 工作负载是伪装成聊天补全的分布式系统。你需要步级指标、循环检测和上下文监控来保持它们生产就绪。通过为 OpenAI SDK 插桩并将客户端指向 Oxlo.ai，你获得了一个兼容的、可预测的后端，没有冷启动和按请求统一费率。结果是更简单的成本预测和更清晰的信号——当你的代理需要关注时（而非平台），你能够更清楚地知道。