ThinkingCap-Qwen3.6-27B: Qwen3.6 capabilities with 50% fewer thinking tokens
6 days ago
- #reasoning models
- #token efficiency
- #multimodal AI
- ThinkingCap-Qwen3.6-27B模型是Qwen3.6-27B的精调版本，旨在平均减少50%的思考tokens的同时保持答案质量。
- 它可以与Transformers和vLLM等库以及Google Colab、Kaggle和Docker等平台一起使用，用于本地部署。
- 领域外评估显示，在GPQA-Diamond等基准测试上，tokens减少幅度高达67.8%，同时在知识、数学和多模态任务等领域保持准确性。
- 在GSM8K和ARC-Challenge等留出数据集上的领域内评估展示了更高的token效率，tokens减少幅度高达74.1%，并且准确性有所提高。
- 安全基准测试表明防护机制得以保留，拒绝率与基础模型相似，且在安全提示上的tokens减少了约20-24%。
- 该模型支持GGUF量化，可通过llama.cpp和兼容的运行时进行高效的本地推理，量化版本可在相关的仓库中找到。
- 使用示例包括图像-文本到文本任务，并且模型需要特定的采样参数（例如temperature=1.0），以获得最佳性能。