How OpenAI Delivers Low-Latency Voice AI for 900M Users
4 days ago
- #WebRTC
- #low-latency
- #OpenAI
- OpenAI使用WebRTC为9亿周活跃用户提供语音AI服务，但由于WebRTC需要稳定的IP和端口，其在Kubernetes部署中面临挑战。
- 他们的解决方案将架构拆分为两部分：在边缘地理位置部署无状态的中继器处理数据包路由，以及有状态的收发器管理WebRTC协议状态。
- 中继器利用WebRTC建立连接时的ICE ufrag字段作为路由密钥，将首个数据包定向到正确的收发器，避免了数据库查询开销。
- Global Relay通过分布式入口节点部署来降低延迟，将媒体处理贴近用户，同时信令通过Cloudflare进行地理导向传输。
- 中继器采用Go语言实现，通过SO_REUSEPORT、runtime.LockOSThread等优化技术和最小化数据拷贝策略高效处理流量，无需内核旁路。
- 该设计针对1对1会话场景优化，其权衡点包括需要定制基础设施，以及依赖对信令两端的控制以实现ufrag字段的路由技巧。