Forget "Fat" Models. The Future Is Narrow
16 hours ago
- #Local Inference
- #MoE Compression
- #AI Models
- 由于市场变化快和硬件价格高，作者推迟了建立本地AI推理设备的计划。
- 中国可能限制顶级AI模型的出口，包括像Qwen和GLM-5.2这样的开源权重模型，这将威胁到西方的使用权限。
- 来自中国的开源权重模型使得本地和无服务器AI成本变得可负担；一旦实施禁令，可能会限制这种使用权。
- 混合专家模型通过每个token激活子网络（专家）来提高效率。
- REAP基于显著分数对MoE模型中未使用的专家进行剪枝，无需重新训练。
- 校准数据至关重要：使用任务特定数据（如代码）可以保留该领域的性能，但会降低模型的通用性。
- 对Qwen3-Coder-480B的一半专家进行剪枝后，编码能力保留约97%，但常识知识下降约8%。
- 专家合并不如剪枝有效，因为合并会引发路由器的困惑；移除专家反而能保持准确性。
- 可视化显示剪枝主要集中在专家开始专业化的深层，而早期层的专家分布更均匀。
- 0xSero应用REAP和量化技术，将DeepSeek-V4-Flash压缩至103GB，并在DGX Spark上成功运行。
- 剪枝后可能需要微调（Router-KD），以修复诸如重复生成等问题。
- 未来的工具可能简化REAP，使得消费级硬件也能运行针对特定用途的专用模型。
- 将压缩与优化的推理引擎相结合，可能创建出即插即用的AI设备。
- 如果中国限制模型出口，学会剪枝并运行本地模型将成为战略优势。