Unsloth Dynamic 2.0 GGUFs
3 months ago
- #benchmarking
- #machine-learning
- #quantization
- 推出Unsloth Dynamic v2.0量化方法，性能超越主流方案，在5-shot MMLU和KL散度指标上创下新标杆
- Dynamic v2.0支持量化LLM的高精度运行与微调，兼容llama.cpp、Ollama等推理引擎
- 新增Qwen3.5和Aider Polyglot基准测试，其中Unsloth的Dynamic 3-bit DeepSeek V3.1 GGUF模型取得75.6%得分
- 与Qwen3、Meta、Mistral、Google、Microsoft等团队合作修复关键漏洞，显著提升模型精度
- Dynamic v2.0重构了层级选择机制，推出模型专属量化方案及Q4_NL、Q5.1等新格式，优化Apple Silicon/ARM设备效能
- 确立KL散度作为量化误差黄金标准，在控制存储空间增幅的同时着力降低平均KL散度
- 采用Calibration_v3/v5数据集解决校准数据过拟合问题，避免因维基百科数据导致的测试偏差
- 因实现细节差异导致MMLU 5-shot结果难以复现，最终开发了定制化MMLU测试方案
- Gemma 3 QAT版本测试表现亮眼，Dynamic 4-bit方案兼具更小体积与更高精度
- 修复Llama 4的RoPE缩放配置和QK Norm问题，MMLU Pro准确率从68.58%提升至71.53%