LithOS: An Operating System for Efficient Machine Learning on GPUs
a year ago
- #GPU
- #Machine Learning
- #Operating System
- LithOS被介绍为一款专为GPU高效机器学习设计的操作系统
- 其特色是采用TPC调度器实现单个TPC粒度的空间调度
- 包含透明内核原子化技术以降低队头阻塞
- 提供轻量级硬件规模调整功能，确定每个原子任务的最小TPC资源需求
- 实施透明电源管理机制，根据工作负载动态降低能耗
- LithOS采用Rust语言实现，在GPU效率方面展现出显著提升
- 在推理堆叠场景下，相比NVIDIA的MPS方案将尾延迟降低达13倍
- 相比最先进解决方案，整体吞吐量提升1.6倍
- 通过规模调整技术实现四分之三GPU资源节省，性能损失不足4%
- 借助电源管理达成四分之一GPU能耗节省，性能影响仅7%