Mesh LLM: distributed AI computing on iroh22 days agohttps://www.iroh.computer/blog/mesh-llmMesh LLM是一个分布式人工智能计算系统，它将多台机器上的GPU和内存汇集起来，呈现为一个与OpenAI兼容的统一API。该系统提供三种处理请求的方式：在本地GPU上运行、将请求路由至加载了模型的节点，或将大模型跨机器拆分为管道并行处理。系统使用iroh端点处理节点身份与网络连接，支持NAT穿透和中继备用机制，并维护两个中继服务器以确保开放互联网环境下的可靠性。通信基于QUIC的ALPN协商实现，针对网格管理、控制和拆分模型激活分别采用独立的协议。更多...