How to run Qwen 3.5 locally
2 months ago
- #AI
- #LLM
- #Qwen3.5
- Qwen3.5是阿里巴巴推出的新一代模型家族，包含多种规格如Qwen3.5-35B-A3B、27B、122B-A10B、397B-A17B及小型模型（0.8B/2B/4B/9B）
- 支持201种语言的256K上下文理解，在代理编程、视觉、对话及长文本任务中表现卓越
- 升级的量化算法显著提升对话、编程、长文本处理和工具调用性能
- 提供思维模式与非思维模式双选项，可针对通用场景与精密任务切换设置
- 硬件需求随模型规模变化，本地推理推荐使用llama.cpp框架
- 附有LM Studio操作指南说明思维开关的启用方法
- 工具调用能力与基准测试显示其量化模型达到当前最先进水平
- 旗舰款Qwen3.5-397B-A17B可与Gemini 3 Pro、Claude Opus 4.5等顶级模型抗衡