LLM 可观测性：没有报错不等于运行正常

我大概不是第一个告诉你 AI 会以没人警告过的方式坏掉的人。但我可能是第一个承认，在某个东西彻底崩溃、我手头却没有任何有用的信息可供查看之前，我根本不知道自己开发的 AI 应用内部到底发生了什么。

没有可追踪的堆栈，没有可阅读的错误日志，只有一个非常不满的用户，和一个对一切异常毫无察觉的仪表盘。

这就是 LLM 可观测性（LLM Observability）成为 AI 基础设施中增长最快的领域之一的原因。

2026 年，这个市场达到 27.5 亿美元，Gartner 预计到 2028 年它将覆盖 50% 的所有 GenAI 部署。团队在这上面投入不是因为好玩，而是因为盲目跑 AI 真的让人痛不欲生。

1. 什么是 LLM 可观测性？

到 2026 年初，72% 的财富 500 强公司至少有一个 LLM 应用在生产环境运行。但大多数对它的实际行为没有任何真正的可见性。

LLM 可观测性是你在 AI 应用运行时观察其内部的能力：每一条发送的提示词、生成的每一条响应、花了多少成本、每一步耗时多久，以及输出是否真的正确。

一个让人不安的事实是，你最需要可观测性的时候，往往是看起来一切正常的时候。产生幻觉的模型不会抛出错误，它只会返回一个自信满满的错误答案，同时附赠一个 200 OK，而你的监控正在睡大觉。

LLM 监控告诉你什么东西坏了。LLM 可观测性告诉你为什么坏、以及首先应该从哪里查起。

2. LLM 可观测性 vs 监控 vs 评估

大多数人都把这三件事混为一谈。实际上它们完全不是一回事，搞混了就会留下盲区，而这些问题只会在用户投诉时才会暴露出来。

94% 在生产环境中有 AI Agent 的组织都有某种可观测性措施。但只有 44.8% 在真实流量上运行评估。这个差距就是大多数质量问题藏身的地方。

监控从外部观察。适用于基础设施，但对 AI 远远不够。

LLM tracing（链路追踪）展示流水线内部的每一步——检索了什么、什么 prompt 进去了、什么返回来了、何时返回的。这才能找到失败的原因。

评估对输出是否真的好打分。这是大多数团队完全跳过的那一项，而它偏偏总是那个本可以最先catch到问题的。

3. LLM 可观测性实际上在追踪应用的哪些方面

你不需要观察一切。你只需要在生产环境中出问题时有办法看到是哪里出了错、为什么出错。

输入和提示词

当用户反馈答案很差时，你想看的第一样东西就是发给模型的完整 prompt，在所有上下文注入之后、未做任何处理前的那个版本。大多数情况下，问题就摆在那里，一旦你能真正读懂它时就一目了然了。

输出和响应

你需要模型给出的原始响应，在你代码做任何处理之前。如果答案在那一步就已经错了，那问题出在模型。如果当时还好、后面才坏的，是你代码里的什么东西改变了它。不看两个版本你没法调试。

按步骤的延迟

每一步实际耗时多久：

没有步骤级的追踪，你只能猜测慢在哪。大多数团队以为是模型，一半的时间其实是一个没人想到要去测量的检索步骤。

Token 用量和成本

一个 prompt 长了 200 个 token听起来没什么大不了。如果是每天 10 万次请求，那就是每个月多出几千美元没人计划过的支出。Token 级别的遥测让你实时看到这件事，而不是等到账单来了才知道。

质量信号

这是大多数团队空着的那一列：

• 用户点赞或点踩
• 被检测到的幻觉
• 任务完成率

没有质量信号的生产 AI 监控等于你在收集无法 action 的数据。本质上就是昂贵的日志记录。

4. LLM 为什么以不同于传统软件的方式失败

传统应用坏了的时候会尖叫——报错、告警、某个地方亮红灯。

LLM 不会尖叫。它们只是开始给出错误的答案，而从外部看完全健健康康的。

非确定性（Non-determinism）

同一 prompt 运行两次会得到不同输出。所以当一个错误出现一次、你去找的时候又消失了，你就无法复现它——除非有 tracing 每次都精确捕获了输入了什么、输出了什么。

上下文漂移（Context Drift）

一切看起来都正常——模型在跑——但输出已经变差了好几周，因为检索变了但没人同步更新 prompt 来匹配。

零错误下的质量退化（Quality Degradation With Zero Errors）

应用按你所有的指标都是健康的。用户只是持续得到越来越差的答案，而直到足够多的人开口说话了才有信号告诉你这件事。

5. LLM 可观测性在实践中长什么样

以一个 RAG 驱动的客服机器人为例。从用户提问到应用返回答案之间发生了大量事情。没有可观测性，你什么都看不到——只有问题进去、答案出来。

有了 LLM 可观测性，你对每个请求都能看到这些：

• 用户原始问题
• 检索返回的文档及其相关性得分
• 注入这些文档后的完整 resolved prompt
• 模型原始响应（在任何解析之前）
• 每一步的延迟，单独拆解
• 用户是否标记答案为有帮助

有了这些你实际上能 catch 到的：

• 检索步骤返回了过期文档，因为索引没有更新
• prompt 因为上下文注入 bug 重复执行而翻倍
• 模型响应在你的代码处理之前就已经错了
• 某个特定查询类型上检索调用耗时 4 秒

没有 LLM 遥测这一切都找不到。但……一旦有了，这些都显而易见。

6. 不同应用类型的 LLM 可观测性

不同应用以完全不同的方式失败。

RAG 应用

大多数 RAG 失败藏在检索里。答案回来错了，你需要知道是模型拿到了坏信息——还是拿到了好信息但仍然答错了。两个不同的问题，两个不同的解决方案。

聊天机器人和对话式 AI

单轮日志是不够的。第三轮的坏答案通常根源在第一轮——模型在那里引入了一个错误假设并一路带到了现在。你需要完整对话 trace，而不是孤立的快照。

Agent 和 Agentic 工作流

Agent 是最难观测的应用类型，也是出问题后代价最高的。Agent 可观测性意味着对 Agent 运行的每个工具调用、每个决策、每个循环都有可见性。根据 MLflow 2026 年报告，单个生产环境中的用户请求可能触发 30 到 300 个内部步骤。没有 tracing，这些大部分都是隐形的——你只看到请求和响应，两者之间一片空白。

7. Unmeshed 如何减少你需要观测的东西

你的 AI 工作流在没有 guardrails 的情况下被允许做的事越少，事后再去观测的需要就越少。

Unmeshed 让你在每个 AI 步骤运行之前就设置硬限制：

• 每步 token 限制 —— 每个 AI 步骤都有最大 token 预算；触达限制就停止
• Agent 工具白名单 —— Agent 只调用你明确批准的工具
• 确定性步骤（不需要 AI 的地方） —— 对于路由、验证这类任务，用普通代码替换 LLM 步骤。没有 prompt，没有 token，不需要观测

可观测性告诉你事后发生了什么出了错。Unmeshed 是你提前放进去、让更少事情出错的东西。

在生产环境跑 AI 而没有 LLM 可观测性，最终结局就是从用户那里而不是从仪表盘上发现问题。到那时候损失通常已经造成了，修复也比本该花的时间更长。

真正做对这件事的团队，不一定是模型最好的那些。而是足够早就把可见性构建进工作流、真正能用到它的那些。

如果你想在可观测性需要 catch 之前就减少可能出错的东西，Unmeshed 正是为这个而生的。