2 days ago
- 高端NVIDIA配置需要昂贵的服务器和电力；像Apple硬件和DGX Spark这样的替代方案存在但有局限性。
- Mac Studio M3 Ultra 512GB可以以可用速度（150 t/s预填充，10-13 t/s解码）运行DeepSeek v4 PRO，价格约为12000美元。
- 未来不确定：NVIDIA价格不太可能下降，内存短缺可能会推迟更高端的Apple硬件如M5 Ultra的发布。
- 目前，MacBook M5 Max 128GB提供了最佳性价比，可以以约500 t/s预填充和约35-40 t/s解码的速度运行2位量化模型，价格为6000-7000美元。
- 分布式推理前景广阔：传统的层分割和跨机器的专家并行，但通信速度是瓶颈。
- 第三种新颖的方法是模型集成，其中不同的模型独立运行并组合logits或选择最佳延续，显示出改进的性能。
- 作者表示有兴趣进一步探索这些用于本地推理的分布式技术。