Mesh LLM: distributed AI computing on iroh
a day ago
- #AI inference
- #peer-to-peer networking
- #distributed computing
- Mesh LLM是一个分布式人工智能计算系统，它将多台机器上的GPU和内存汇集起来，呈现为一个与OpenAI兼容的统一API。
- 该系统提供三种处理请求的方式：在本地GPU上运行、将请求路由至加载了模型的节点，或将大模型跨机器拆分为管道并行处理。
- 系统使用iroh端点处理节点身份与网络连接，支持NAT穿透和中继备用机制，并维护两个中继服务器以确保开放互联网环境下的可靠性。
- 通信基于QUIC的ALPN协商实现，针对网格管理、控制和拆分模型激活分别采用独立的协议。
- 在主连接内部，各类流类型（如流言传播、HTTP隧道、路由查询）通过前导字节进行解复用，从而实现高效的端到端操作。
- 用户可安装轻量级软件（约18MB）加入公共网格或部署私有网络，并通过localhost:9337/v1端口使用标准OpenAI客户端进行访问。