Fleet: Hierarchical Task-Based Abstraction for Megakernels on Multi-Die GPUs
3 hours ago
- #GPU Programming
- #Chiplet Architecture
- #Megakernel Optimization
- Fleet是一种面向多芯片GPU的多级任务模型，引入了Chiplet任务以将工作和数据绑定到单个芯片单元，从而提升数据局部性和同步效率。
- 它解决了平面化GPU编程模型（如CUDA/HIP）与芯片化设计之间的不匹配问题，减少了冗余内存流量并提升了缓存利用率。
- 在搭载Qwen3-8B的AMD Instinct MI350平台上，Fleet在小批量解码时延迟降低1.3-1.5倍，并通过协作权重分片和更高的L2缓存命中率，在大批量处理时实现最高1.30倍的加速效果。