a day ago
- 每位用户的AI token消耗量急剧攀升，据作者估计，在三年内每日使用量增长了50倍，这得益于GPT-4、Sonnet 3.5和Opus 4.5等先进模型以及代理工作流的兴起。
- 大型语言模型用户数（估计有10亿活跃用户）和每位用户token使用量的爆炸式增长正推动大规模基础设施投资，AWS、Azure和GCP等超大规模云服务商已承诺投入数千亿美元的资本支出用于数据中心建设。
- 尽管有计划的基础设施支出，但实际部署面临硬性约束，尤其是电力短缺和高带宽内存（HBM DRAM）的严重不足。这种内存对AI芯片至关重要，且产能提升需要数年时间。
- 麦格理研究指出，当前DRAM供应仅能支持15GW AI基础设施的部署，大约足够3000万重度代理用户（每人每天百万token使用量）。作者认为，考虑到视频、音频和世界模型日益增长的需求，这远远不够。
- 定价动态预计将发生变化：由于切换成本低，大幅涨价可能面临阻力；但可能采用动态推理定价（非高峰折扣），减少免费套餐，同时加大模型效率研究，直至DRAM产能扩张。
- 未知因素包括：前沿实验室保留模型自用，基于SRAM的内存架构（如Groq）等创新，以及尽管有非约束性承诺，但AI产能可能建设不足。DRAM短缺将在未来几年主导行业格局。