Agent swarms are great for local AI
8 hours ago
- 本地运行编码代理需要昂贵的显存（例如 NVIDIA 5090 或 2×3090 显卡）才能获得不错的表现。
- 单流开发大约每秒处理2000个输入token和150个输出token，在OpenRouter上使用Qwen 3.6每小时成本约0.80美元。
- 代理集群（例如32个并发代理）会大幅增加token消耗，但与API费率相比，也使本地LLM硬件的成本效益变得显著。
- 成本对比：本地硬件集群每小时电费约0.11美元，而OpenRouter为7.06美元，Sonnet 5则为89美元。
- 按每天8小时使用一个月计算，本地硬件成本约26美元，OpenRouter为1700美元，Sonnet 5为21400美元。
- 代理集群通过充分利用GPU资源并减少对昂贵API调用的依赖，使经济性倾向于本地人工智能。