2026 年主流 LLM 可观测平台横评：Langfuse、LangSmith、Braintrust、Arize

LLM 应用以传统软件不会失败的方式失败。同一个 prompt 可能产生不同的输出。一次检索步骤可能返回错误的文档，而每个 HTTP 状态码都显示 200。一个 AI 智能体可能循环执行十四个工具调用，消耗数千个 token，最终给出一个自信的错误答案。标准应用性能监控（APM）本身无法捕捉这种语义行为——prompt 和输出质量、检索相关性，或智能体级别的推理追踪。

这正是 LLM 观测和评估平台要填补的空白。它们记录 LLM 流水线的每一个跨度——prompt、completion、检索、工具调用、token 计数、延迟和成本——然后使用自动化评估器对输出质量进行评分。2026 年，这一类别已从可选工具转变为此类需求的核心基础设施。

市场数据印证了这一转变。Business Research Company 数据显示，2026 年 LLM 观测平台市场规模为 26.9 亿美元，而 2025 年为 19.7 亿美元，预计到 2030 年将达到 92.6 亿美元，年复合增长率为 36.2%。Gartner 预测，到 2028 年，LLM 观测投资将占 GenAI 部署的 50%，而 2026 年初仅为 15%。LangChain 对 1300 多名专业人员的"智能体工程现状"调查显示，57% 的受访者已在生产环境中运行 AI 智能体。近 89% 已为其 AI 智能体实施了观测。评估方面仍有差距：52.4% 进行离线评估，37.3% 进行在线评估，29.5% 完全未进行任何评估。32% 的受访者认为质量是部署到生产环境的主要障碍。

本文从三个维度对领先平台进行比较：追踪深度、评估能力和生产监控。数据已通过一手来源（公司文档、新闻页面和公告）核实，截至 2026 年 8 月；仅存在二手报道的地方已附上链接并注明。"最佳适用"评判属于编辑评估，而非实际测量基准。

2026 年该领域的格局

市场已分裂为四个阵营，理解这种分裂比任何单独的功能列表都更重要。

AI 原生观测平台：Langfuse、LangSmith、Braintrust、Arize、Opik——将 LLM 追踪作为主要对象。它们捕获跨智能体、检索器和工具的嵌套跨度，并附上针对生产流量的评估分数。

开源及源码可用的评估库和平台：Arize Phoenix、DeepEval（Confident AI）、MLflow、RAGAS——专注于输出评分：忠实度、幻觉、答案相关性和任务完成度，通常通过 LLM-as-a-judge 实现。

AI 网关：Helicone、Portkey、LiteLLM——作为应用和模型提供商之间的代理。它们以最少的代码改动添加日志记录、缓存、成本追踪和路由功能。

APM 扩展：Datadog LLM Observability、New Relic、Dynatrace——将 LLM 追踪附加到现有基础设施监控上，使 AI 信号与 CPU、内存和网络指标关联。

一个标准现在连接所有四个阵营。OpenTelemetry GenAI 语义约定为模型调用、token 使用量、智能体步骤和工具执行定义了供应商中立的 gen_ai.* 跨度属性。OpenTelemetry 是一个 CNCF 项目，维护这些约定，已被包括 Google Cloud、AWS、Azure 和 Datadog 在内的平台采用。这些约定现在存在于一个专用仓库中，GenAI 注册表截至 2026 年 8 月仍在积极开发中。编码 AI 智能体也在向该标准靠拢：GitHub Copilot 的 AI 智能体遥测暴露 gen_ai.* 跨度树，Claude Code 提供可选的 OpenTelemetry 追踪，Codex 包含原生 OpenTelemetry 导出支持。针对 gen_ai.* 进行一次插桩可提高后端可移植性并减少供应商特定的插桩，即使实现仍有差异。2026 年的买家应将 OTel 兼容性视为硬性要求，而非锦上添花。

三个维度：追踪、评估和生产监控

由于供应商对这些术语的使用较为宽泛，在比较平台之前，精确的定义有助于理解：

追踪是 LLM 应用执行的所有操作的记录。一个追踪包含嵌套的跨度：用户输入、每次检索调用、每次模型调用及其精确的 prompt 和参数、每次工具执行，以及最终输出。深度很重要，因为智能体追踪是深度嵌套的且有效载荷很重——一次对话可以跨数十次运行和工具调用生成兆字节的数据。非确定性使追踪成为必选项：同一个 prompt 产生不同的输出，因此如果不捕获精确的输入、模型参数和调用时的 temperature，就无法复现问题。

评估回答追踪无法回答的问题：输出好吗？离线评估在部署前对策划数据集进行评分，在 prompt、模型或检索索引更改时捕获回归。在线评估对实时生产流量进行评分，通常通过 LLM-as-a-judge，采样追踪并对忠实度、相关性、毒性或任务完成度进行评分。最难检测的失败是技术上有效但对领域错误的输出——一个幻觉出来的政策、一个漂移的语调、一个检索未命中产生了自信但错误的答案。传统的延迟、错误率和可用性指标无法检测这些语义质量失败。

生产监控闭环：仪表板、按模型和用户划分的成本归因、延迟百分位数、跨 prompt 和用例的漂移检测，以及当质量分数下降时的告警。最好的平台将生产追踪反馈到评估数据集中，使每个真实世界的失败都成为未来的回归测试。

一个平台可能在一个维度上很强而在另一个上很弱。网关擅长监控但缺乏深度追踪。评估库对输出评分但不监控生产。以下平台按其覆盖所有三个维度的完整程度进行排名。

1. Langfuse（ClickHouse）

Langfuse 自我描述为采用最广泛的 LLM 工程平台，其开源采用数据支撑了这一有力声明。

追踪：Langfuse 通过 OpenTelemetry、LangChain、OpenAI SDK 和 LiteLLM 集成捕获 LLM 调用、检索、嵌入和智能体操作的嵌套追踪。其标志性的嵌套追踪视图将多步骤 RAG 或 AI 智能体运行折叠成一个可步进的树，显示每个跨度的延迟和 token 计数。2026 年 3 月发布的数据模型以观察为核心，实现了 10 倍以上的仪表板性能提升，为 Langfuse v4 奠定了基础，该公司称其运行速度提高了 165 倍。

评估：该平台支持 LLM-as-a-judge 评估器、人工标注队列、自定义分数和基于数据集的回归测试，可通过 GitHub Actions 在 CI 中运行。评估器模板涵盖幻觉、毒性和相关性。

生产监控：按模型、用户或会话划分的成本明细，以及对话 AI 智能体的会话回放。

部署：MIT 许可的核心，可通过 Docker Compose 在几分钟内自托管，或在 Langfuse Cloud 上托管并提供免费套餐。Langfuse 被广泛认为是该类别中自托管的领导者。

最佳适用：需要功能完整、开源、框架无关且严格控制数据驻留的团队。

2. LangSmith（LangChain）

LangSmith 是 LangChain 的商业平台，用于观察、评估和部署 AI 智能体。它与 Python、TypeScript、Go 和 Java SDK 以及 OpenTelemetry 支持框架无关，但它 是 LangChain 1.0 和 LangGraph 1.0 的默认后端，在这些框架中集成几乎不需要胶水代码。

追踪：完整的对话和 AI 智能体运行追踪暴露每个步骤、工具调用和中间状态。Polly 是一个内置 AI 助手，可总结大型追踪以查明问题。LangSmith Engine 将生产失败聚类为优先级问题，在追踪和代码中定位根本原因，并提出修复建议供审查。

评估：LLM-as-judge、基于代码和多轮评估器在数据集或实时生产追踪上运行。评估器可以针对人类偏好进行校准，side-by-side 比较可在部署前阻止回归。标注队列让领域专家审查 AI 智能体输出。

生产监控：在线评估对实时流量进行评分，自动追踪聚类检测使用模式和失败模式。截至 2026 年，LangSmith 提供跨完整 AI 智能体工作流程的统一成本视图——LLM 调用加上检索、工具和外部 API 的自定义成本。

部署：在 AWS 或 GCP 上托管云、混合和自托管配置，适用于有数据驻留要求的团队。LangSmith Deployment 添加了带人工批准的可持久 AI 智能体运行时，并为单独运行尝试强制执行恰好一次语义。

最佳适用：在 LangChain 或 LangGraph 上构建的团队，以及希望在一个供应商处获得观测、评估和托管 AI 智能体部署的企业。

3. Braintrust

Braintrust 是这份列表中以评测（eval）为先的平台，背后是 2026 年 AI 评测与可观测性领域最大规模融资之一。

追踪：跨 Python、TypeScript 等语言的框架无关 SDK 捕获完整智能体追踪记录。Brainstore 是专为该场景打造的数据库，能高效查询数百万条复杂追踪记录。

评测：这是 Braintrust 的核心。版本化数据集、自动与人工评分、模型与提示词实验，以及 CI 回归测试，让评测结果在部署前阻断回归。Playground 在发布前基于真实生产数据测试提示词变更。Loop 是一个 AI 智能体，分析追踪记录并自动建议更优提示词、生成评分器、构建数据集。

生产监控：对提示词、响应、工具调用、延迟、成本和质量进行实时可观测性监控，同时监测幻觉、漂移和回归。

最佳适用场景：以评测为中心的开发工作流、需要 CI/CD 质量门禁和生产反馈闭环的产品导向 AI 团队。

4. Arize AX 和 Arize Phoenix

Arize AI 采取双层策略：Arize AX 服务企业级用户，Phoenix 作为源码可用、可自托管的底层。

追踪：Phoenix 原生支持 OpenTelemetry，可基于 Elastic License 2.0 自托管——源码可用，但并非 OSI 认可的开源许可证。与 LlamaIndex 和 OpenAI Agents SDK 有深度集成。在 Series C 融资公布时，Phoenix 月下载量已超过 200 万次，是采用最广泛的评测库之一。

评测：Arize 在 ML 可观测性领域的深厚积淀在此体现。其评测原语比大多数竞品更深入，提供预构建模板、RAG 特定质量图表，以及能捕捉输出随时间悄然降级的漂移检测。Arize 还推出了语音应用音频评测能力，并通过 OpenEvals 和 AgentEvals 计划资助开源研究。

生产监控：嵌入聚类、漂移检测，覆盖传统 ML 模型和生成式工作负载的监控，并与 Azure AI Foundry 深度集成。

最佳适用场景：需要最深度评测严谨性的受监管或准确性关键型工作负载，以及同时运行经典 ML 和 LLM 的组织。

5. MLflow

由 Databricks 支持的 Linux Foundation 开源项目 MLflow，已演变为完整的智能体可观测性平台。

追踪：原生支持智能体追踪，追踪数据完全由用户拥有，并以 OTel GenAI 语义约定格式导出，因此不会锁定在专有 schema 中。

评测：内置 LLM 评判器、多轮评测、评判器与人工反馈对齐，并与 RAGAS、DeepEval、Phoenix、TruLens 和 Guardrails AI 集成。MLflow 还附带使用 GEPA 和 MIPRO 算法的提示词优化功能，可根据评测结果自动改进提示词。

生产监控：AI Gateway 集中管理 LLM 访问，提供路由、限流、 fallback 和用量追踪，支持 OpenAI、Anthropic、Bedrock、Azure 和 Gemini。

最佳适用场景：重视追踪数据所有权、希望零企业级付费墙，或已在使用 MLflow 进行实验追踪的团队。尚未使用 MLflow 的团队可能发现 Langfuse 等更轻量的工具更容易上手。

6. Weights & Biases Weave

W&B Weave 将 Weights & Biases 实验追踪平台扩展到 LLM 追踪和评测领域。它为多智能体系统记录结构化执行追踪，保留智能体调用间的父子关系，并按智能体捕获输入、输出、延迟和 token 用量。

其差异化在于沿袭性（lineage）：智能体行为可以直接与 W&B 中已管理好的模型、数据集和实验历史进行对比。定价按摄入量计费：免费计划每月包含 1 GB Weave 数据，Pro 计划 $60/月含 1.5 GB，额外摄入量为每 MB $0.10——因此大段提示词和检索文档会实质性影响成本。LLM 可观测性层相对较新，不如核心实验追踪产品成熟。

最佳适用场景：已投资 W&B 的 ML 研究团队，希望在不离开该平台的情况下获得生产级 LLM 追踪。

7. Helicone

Helicone 占据网关阵营的主导地位。它是一个开源 AI 网关，支持单行代理集成：只需将流量路由经 Helicone，即可获得成本、token 和延迟仪表板，无需为每个服务单独插桩。内置响应缓存通过简单 header 降低 API 成本和延迟，平台还支持非技术团队成员访问的提示词实验功能。

优势即边界。可观测性在此以请求为中心——深度智能体图、span 级推理步骤和丰富的生产评测闭环并非其核心叙事。许多团队将 Helicone 的网关与专用追踪或评测平台搭配使用。

最佳适用场景：希望以近乎零配置工作量获得多提供商成本可见性、缓存和路由的团队。

8. Datadog LLM Observability

Datadog LLM Observability 代表 APM 扩展阵营。它摄取 token 用量、每请求成本、模型延迟，以及提示词注入尝试等安全信号，并与 Datadog 现有的基础设施指标、APM 和日志关联，将 AI 行为与跨 1,000+ 内置集成的系统健康状态关联。Datadog 还原生支持 OTel GenAI Semantic Conventions v1.37+。

Datadog 后续已增加评测、智能体监控和 AI 安全信号，因此诚实的差异化在于侧重点而非有无：其主要优势是将 AI 追踪与更广泛的 APM、基础设施和安全技术栈关联起来，而 AI 原生平台则以开发和评测工作流为中心。对于已标准化使用 Datadog 的组织，LLM 模块是最小阻力路径；需要 CI 门禁评测的团队通常会在其上叠加专用评测平台。

最佳适用场景：希望将 LLM 追踪与其已运行的基础设施和事件管理工作流关联的企业。

一览对比

平台	许可证 / 模型	追踪深度	评测优势	自托管
Langfuse	AI 原生，开源，MIT；云服务	深度，原生 OTel	强（judge + 数据集 + CI）	是（领先）
LangSmith	AI 原生，商业，专有	LangChain/LangGraph 最深	强（校准 judge，聚类）	是（企业版）
Braintrust	评测优先，商业，专有	深度（Brainstore）	最强工作流（CI 门禁，Loop）	混合选项
Arize AX / Phoenix	AI 原生 + 源码可用	Phoenix：ELv2，源码可用	最深原语，漂移，音频	是（Phoenix）
MLflow	开源平台	深度，OTel GenAI 导出	强（judges，GEPA/MIPRO）	是
W&B Weave	ML 平台扩展	好（多智能体树）	好（评分器，judge）	企业版
Helicone	网关	开源	请求级	轻量
Datadog LLM Obs.	APM 扩展	专有	好，与基础设施关联	中等

深度和优势评级为基于供应商文档和独立评测的编辑评估，非实测基准。

---

LLM 可观测性市场 2026 年预估规模为 $26.9 亿，预计到 2030 年达 $92.6 亿，年复合增长率 36.2%。

89% 的受访组织使用智能体可观测性，52.4% 运行离线评测，37.3% 运行在线评测。

Langfuse（现属 ClickHouse）、LangSmith、Braintrust 和 Arize 引领 AI 原生阵营；Helicone 引领网关赛道；Datadog 引领 APM 扩展阵营。

OpenTelemetry GenAI 语义约定是便携性标准——将 OTel 支持列为硬性采购要求。

按技术栈和团队形态选型：LangChain/LangGraph 选 LangSmith，自托管选 Langfuse，评测严谨性选 Arize，评测优先工作流选 Braintrust。