13 hours ago
- 与原始SQL相比，ClickStack MCP服务器将AI代理的准确性提高了18%，并将工具调用减少了26%。
- HyperDX构建了hdx-evals，这是一个开源基准测试框架，具有确定性合成遥测功能，用于可重复的事件评估。
- 五个事件场景测试了根因分析、延迟调查、噪声信号识别、健康检查和分段回归等技能。
- 评分结合了程序化检查（40%）、LLM评判（60%）和工具错误惩罚，并使用盲答以确保公平性。
- 在所有场景中，ClickStack MCP的表现均优于ClickHouse SQL MCP，差异从+7pp到+20pp。
- 工具描述、响应设计和速度对代理性能至关重要，不明确的错误常常导致工具被放弃使用。
- 未来计划包括CI集成、扩大场景覆盖范围以及社区对开源框架的贡献。