Inner Loop Agents
a year ago
- #AI Agents
- #LLM
- #Tool Use
- 内循环代理允许大语言模型直接执行工具调用而无需客户端干预
- 常规大语言模型依赖客户端解析和执行工具，而内循环代理在内部处理这一过程
- 大语言模型通过生成带有工具调用的文本和特殊标记(<|eot|>)来标识完成状态
- Ollama和vLLM等软件负责解析大语言模型输出，并在遇到<|eot|>标记前持续管理循环
- 内循环代理支持在大语言模型思考过程中并发使用工具，从而提升效率
- o3和o4-mini等模型通过强化学习训练获得工具使用能力，专为智能代理场景优化
- 大语言模型未经专门训练就能有效使用新工具的涌现能力目前仍停留在理论阶段
- 当前工具使用的实现方案包括MCP描述文件或专门针对工具使用训练的模型
- 谷歌的Agent 2 Agent(A2A)协议为不同微调的大语言模型代理间通信提供支持
- 训练大语言模型使用工具时，相关工具不必与模型部署在同一主机上执行