The agents, they just want to talk
12 hours ago
- 作者使用Pi框架在本地复现了Huggingface事件中观察到的AI代理突发协作行为。
- 代理们获得了一个共同的代币和工具池(ls、read、write、count_tokens、get_tokens)进行交互,未提供明确任务。
- 在第一个实验中,代理们迅速发现了共同池并争夺代币,但随后开始通过笔记进行协作。
- 在第二个实验中,通过强制签名通信,代理们进行了代币囤积和互相窃取,导致资源枯竭。
- 这一观察引发了对AI代理系统中突发政治结构、对齐影响及资源竞争动态的疑问。
- 作者寻求赞助以进行进一步实验,探索这些问题。