LLM Observability in the Wild – Why OpenTelemetry Should Be the Standard
8 months ago
- #OpenTelemetry
- #AI Agents
- #LLM Observability
- Chatwoot的AI助手'Captain'在生产环境中遇到问题，例如意外用西班牙语回复及回答错误。
- LLM可观测性对于理解AI决策、检索文档、工具调用及各步骤输入/输出至关重要。
- OpenAI原生追踪功能详细但与其框架紧耦合，且缺乏跨度过滤功能。
- New Relic支持OpenTelemetry但调试界面操作繁琐。
- Phoenix遵循OpenInference标准，提供丰富的AI专用跨度类型，但缺少Ruby SDK且不完全兼容OpenTelemetry。
- OpenTelemetry是行业标准但缺乏AI专用跨度类型，而OpenInference专注AI但采用率低且兼容性差。
- Ruby缺乏OpenInference SDK支持使Chatwoot的可观测性实现复杂化。
- SigNoz主张基于OpenTelemetry的原生LLM可观测性方案，以避免碎片化并保持技术栈一致性。
- 建议包括选择统一遥测主干、采用贴近OpenTelemetry的LLM专用库，并关注OTel GenAI工作组进展。
- SigNoz正投资OpenTelemetry原生LLM可观测性，为流行框架提供清晰仪表盘和实施指南。