What next for the compute crunch?
2 days ago
- AI计算需求正在爆炸式增长，GitHub提交量年化增长约14倍，表明推理需求大幅增长。
- AI公司面临计算资源短缺，导致使用限制、服务中断，并因用户在服务间切换而引发连锁反应。
- 供应限制包括因液冷挑战、劳动力短缺和地缘政治紧张导致的GB200延迟推出。
- DRAM制造是一个硬性限制，尽管TurboQuant等创新提供了临时缓解。
- 未来18-24个月将持续出现计算短缺，尽管存在市场份额担忧，但很可能迫使价格上涨。
- 随着模型改进，用户可能对价格不那么敏感，最终供应将赶上需求，但短期内预计会有阵痛。