Unsloth Dynamic 2.0 GGUFs
10 months ago
- #AI-models
- #machine-learning
- #quantization
- Unsloth推出Dynamic v2.0量化技术，重大升级显著提升量化大语言模型的精度与效率
- Dynamic v2.0具备革新性层级选择机制、模型专属量化方案及Q4_NL/Q5.1等新格式，在Apple Silicon和ARM设备上表现更优
- 该方法包含超过150万token的高质量校准数据集，可增强对话式聊天性能
- Unsloth与Meta、Google、微软等顶尖AI团队合作修复关键漏洞，提升模型准确率
- Dynamic v2.0现已支持所有模型架构（包括MoE与非MoE），突破前代仅限MoE架构的限制
- 基准测试引入融合磁盘体积与MMLU评分的新效率指标，Dynamic 2.0展现卓越性能
- 采用KL散度作为量化精度的核心评估标准，致力于最小化模型答案的波动性
- 通过使用维基百科之外的多样化数据集，Unsloth有效解决校准数据过拟合问题
- 因细微实现差异导致MMLU五样本测试复现困难，团队最终开发定制化基准测试方案
- Gemma 3量化感知训练基准成绩亮眼，Dynamic 2.0版本兼具更小体积与更高精度
- Llama 4的修复包含RoPE缩放调整和QK Norm epsilon校正，使MMLU分数显著提升
- 附llama.cpp运行Llama 4 Scout的详细指南，展示Unsloth Dynamic 2.0量化成果