Powering the agents: Workers AI now runs large models, starting with Kimi K2.5
2 months ago
- #Cloudflare
- #AI Agents
- #Serverless Inference
- Cloudflare正在升级其平台，通过Durable Objects、Workflows和Dynamic Workers等强大的基础设施原语，支持代理程序的开发和部署。
- Workers AI现已集成月之暗面（Moonshot AI）的Kimi K2.5模型，具备256k上下文窗口、多轮工具调用、视觉输入和结构化输出功能，特别适合代理型任务。
- Cloudflare内部测试显示，Kimi K2.5在自动化代码审查和安全检查等任务中实现了显著成本节约（降低77%）和效率提升。
- 随着个人和编程代理的兴起，成本成为主要考量，促使企业转向Kimi K2.5等开源模型寻求可扩展解决方案。
- Cloudflare已针对Kimi K2.5等大模型优化推理架构，包括定制内核和前缀缓存技术，以提高性能并降低成本。
- Workers AI新增功能包括：缓存令牌的折扣定价前缀缓存、提升缓存命中率的会话亲和性标头，以及支持持久化工作流的全新异步API。
- 异步API采用基于拉取的队列处理机制，配合完成事件通知，特别适合代码扫描代理等非实时任务。
- 开发者现可通过开发者文档、Agents SDK入门指南和实时演示平台，立即在Workers AI上使用Kimi K2.5模型。