Agent Observability: 看清你的AI-Agent到底在做什么

Agent Observability是Traces、指标和Evals，用于非确定性运行。Langfuse约34.000星，自2026年1月起采用ClickHouse。Phoenix、LangSmith、OpenTelemetry。

2026年2月21日作者 Data McGrinseyRead in EnglishAuf Deutsch lesenLeer en español

Agent Observability: 看清你的AI-Agent到底在做什么 — 人工生成McGrinsey Living Intelligence Systems

Agent Observability 的意思是：看到一次运行里的每一个 LLM-Call、Tool-Call、Retry 和 Token，事后和事中都行。 经典 APM 记录一条确定性路径。Agent 不是确定性的。同一个 Prompt，不同的 Graph。没有 Traces，你就盯着最后一句话瞎猜。

流程图：围绕Agent-Runtime的可观测性工具、追踪、指标、调试 — 围绕 Runtime 的环：Traces、指标、调试。原图上写着 LangSmith、LangGraph Studio、Langfuse、AgentOps。Phoenix 和 OpenTelemetry 现在也进了同一个环。

你到底在看什么

Traces: 一次请求的完整路径，像套娃一样嵌套：模型、Tool、子 Agent、Retry。
指标: Tokens、每步延迟、每次 Request 的成本、错误率。
Evals: 这次运行有没有把活干完，由 Judge、脚本或人来评。

品牌名下面的管道越来越是 OpenTelemetry。Langfuse 和 Phoenix 原生讲它。LangSmith 可以吞它。谁一旦按 OTel 做了 instrumentation，以后就能换 Backend。

2026 年 9 月的赛道

Langfuse：数据要留在你这边时的默认选择

开源 LLM 工程平台，MIT，用 Docker 自托管。Tracing、Prompt 版本、Datasets、Playground、Evals。langfuse/langfuse 上大约 34.000 个 GitHub 星。从 2026 年 1 月起公司落在 ClickHouse。README 仍写着 MIT 和自托管。权衡是：成熟，外加一个数据库供应商当东家。问清楚 Traces 落在哪。

来源: github.com/langfuse/langfuse.

LangSmith：你要是已经住在 LangChain 里，它挖得最深

LangChain 团队做的。瀑布 Traces、Token 和延迟看板、Prompt Hub。旁边是 LangGraph Studio 当可视化调试器：Graph 亮起来、暂停、回放、把 Production Trace 在本地再跑一遍。2026 年的公开文档仍把 LangSmith 当云产品，不是你机器上的盒子。Prompt 可以出门就行。不能出门就不行。

来源: docs.smith.langchain.com.

Arize Phoenix：笔记本上的 OpenTelemetry

Tracing 加 Evals，notebook 优先，同样的 Spans 以后进 Production。GitHub 上 arize-ai/phoenix 大约 11.000 星。仓库许可证：Elastic-2.0，source-available，不是 MIT。自托管是重点。托管的姐妹叫 Arize AX。

来源: github.com/Arize-ai/phoenix.

AgentOps, Helicone, Weave, Opik

AgentOps 把 Agent Session 当对象，不是单个 LLM-Call。Helicone 当代理坐着计数。Weights & Biases Weave 是 Trace 层，如果你本来就在付 W&B。Comet Opik 是另一家开放的 Eval 和 Trace 库。哪个都替不了 Trace Store。只是有些团队走的入口。

三个问题，然后你就选

Prompt 能离开你的机器吗？ 不能：Langfuse 或 Phoenix，自托管。能：LangSmith 就在桌上。
你和 LangGraph 结婚了吗？ 是：LangSmith 加 Studio。否：先框架无关。
Debugger 用于周二还是 Monitor 用于明年？ Studio 赢得下午。Langfuse 和 LangSmith 赢得这个月。

大多数团队最终落到两层：一层用来走通一个图，一层用于 Production-Traces。这不是平局。工作是不同的。

事实表

陈述	篮子	来源
Langfuse 约 34.000 GitHub 星，MIT，Self-Host，自 2026 年 1 月起成为 ClickHouse 的一部分	事实	github.com/langfuse/langfuse README，2026 年 9 月。收购由项目自己写在那里。
Phoenix 约 11.000 星，Elastic-2.0，Self-Host，OpenTelemetry/OpenInference	事实	github.com/Arize-ai/phoenix，2026 年 9 月。
LangSmith 是 Cloud，不是 Self-Host 盒子	根据公开文档的事实，2026 年 9 月	LangSmith-Docs。如果这变了，文档会先变。
Agent 运行不是确定性的，所以 Production 中的 Traces 不是选修	论点	这一页。同样的输入，不同的路径是 Agent 的全部意义。
OpenTelemetry 是能活过当前品牌名的交换格式	假设	Langfuse 和 Phoenix 原生 OTel，LangSmith Ingestion。方向，不是标准表决。

截止：2026 年 9 月 9 日。Langfuse 不再是独立公司。如果你自己跑这台机器，Traces 继续在 MIT 下 self-host。