Run Qwen3-Coder-480B-A35B Locally with Unsloth Dynamic Quants
10 months ago
- #AI
- #LLM
- #Coding
- Qwen3-Coder-480B-A35B在编程任务中提供最先进的性能，媲美或超越Claude Sonnet-4和GPT-4.1等模型
- 该模型支持256K令牌上下文窗口（可扩展至1M），在Aider Polygot基准测试中获得61.8%得分
- 采用Unsloth Dynamic 2.0量化技术，在运行和微调Qwen大语言模型时实现精度损失最小化
- 推荐推理参数设置为：temperature=0.7、top_p=0.8、top_k=20、repetition_penalty=1.05
- 建议使用Llama.cpp进行优化推理，可选择全精度（未量化）或量化版本
- 模型支持工具调用功能，演示案例包含获取实时温度的函数调用
- 性能基准测试显示其在代理编程、浏览器操作和工具使用场景中表现优异