GPUs could explode to multiple TB with new storage-inspired memory tech
4 hours ago
- HBF（高带宽闪存）通过堆叠NAND闪存层，提供类似SSD的容量（每个模块高达512 GB）和类似HBM的带宽（初始1.6 TB/s，目标最终达到3.2 TB/s）。
- HBF旨在补充而非替代HBM用于AI推理，因为NAND的写入耐久性有限，延迟为微秒级，而DRAM为纳秒级。
- 在推理中，HBF擅长读取密集的解码阶段（一次写入，多次读取），而HBM处理写入密集的预填充阶段，使模型权重随时可用，无需重新加载。
- 像数万亿参数的MoE这样的大型模型可以使用HBF适配单个加速器，减少芯片间互连瓶颈。
- 关键挑战包括标准化（在开放计算项目下）、制造复杂性以及需要GPU/ASIC制造商的采用；首批样品预计2024年底推出，设备于2025年初推出。