Building the enterprise environment for agentic AI
a day ago
- 企业中的智能体AI是一个更大的系统问题，涉及编排、数据访问、工具使用和可扩展性，而不仅仅是LLM推理。
- 评估智能体AI系统的关键指标包括任务成功率、每任务成本、每任务时间、任务吞吐量、智能体密度和延迟。
- 使用智能体密度（每vCPU的智能体数量）而非原始智能体数量来规划容量，并监控P95任务延迟以获得更好的性能信号。
- 默认采用横向扩展架构来托管智能体，将纵向扩展保留给每个智能体计算量更大或存在限制的工作负载。
- 生产级智能体AI的价值来自于自动化编码工作流，如代码创建、回归测试、工单分类、市场分析和安全审查。