Mimalloc Cigarette: Losing one week of my life catching a memory leak
2 months ago
- #rust
- #memory-leak
- #mimalloc
- 工作中一个定价引擎应用出现内存不足问题，尽管数据集大小仅为内存容量的几分之一，生产环境仍频繁发生OOM崩溃
- 经排查发现是mimalloc内存分配器的内存泄漏问题，该分配器会根据线程分配模式表现出不同行为
- mimalloc的设计假设是线程会周期性分配内存；若某线程突然大量分配内存后进入休眠状态，内存块将无法被正常回收
- 问题具体表现为：当线程分配内存后派生子线程处理数据，自身进入休眠状态，导致内存块持续滞留
- 最终解决方案是将内存密集型操作集中在单线程执行，并通过通道通信机制来规避该问题