FlashPack: Fast Model Loading for PyTorch
7 months ago
- #Performance Optimization
- #PyTorch
- #Machine Learning
- FlashPack是一种专为PyTorch设计的高吞吐量文件格式与加载机制，旨在加速模型检查点的I/O操作
- 它使模型加载速度比现有方法（如`accelerate`或`load_state_dict()`加`to()`）快3-6倍
- FlashPack将模型权重视为单一数据流而非独立文件，从而显著提升加载速度
- 核心特性包括：将state_dict展平为连续字节流、内存映射读取技术、通过CUDA流实现磁盘/CPU/GPU操作重叠
- 基准测试显示，其检查点加载速度比现有方法快2-6倍
- 当前限制包括：要求所有权重数据类型必须相同，且不支持设备映射或状态字典转换
- 用户可通过PyPI或GitHub安装FlashPack，它能无缝集成现有工作流（包括Hugging Face模型）