Tiny Model, Big Logic: Large-Model Reasoning Ability in VibeThinker-1.5B
6 months ago
- #Machine Learning
- #Model Optimization
- #Artificial Intelligence
- 推出VibeThinker-1.5B——这个15亿参数的稠密模型挑战了'小模型缺乏强推理能力'的行业认知
- 通过信号频谱原理(SSP)开发，采用两阶段多样性探索蒸馏和最大熵策略优化技术
- 仅用7,800美元训练成本即实现超越DeepSeek R1和Magistral Medium等大模型的推理能力
- 在AIME24/AIME25/HMMT25数学基准测试中，性能超越参数量400倍的DeepSeek R1
- LiveCodeBench V6得分51.1分，超过Magistral Medium的50.3分及其基础模型的0分
- 证明小模型可实现媲美大模型的推理能力，大幅降低AI研发成本，推动技术民主化