What even is a small language model now?
a year ago
- #AI
- #Machine Learning
- #Small Models
- '小模型'的定义已从2018年的数百万参数发展到如今的300亿-700亿参数规模，如今能在单块GPU上运行的模型都被视为'小模型'
- 小模型分为两类：一类针对移动/边缘设备优化，另一类仅需单块GPU即可运行
- 小模型通常功能专一，针对特定任务优化，具有成本低、推理速度快、隐私性更好等优势
- '小模型'的界定标准持续变化，量化和工程优化已能让700亿参数模型在消费级GPU上运行
- 某些经典小模型（如谷歌翻译、AWS文本识别）虽非前沿技术，但仍在广泛使用
- 小模型正因其高效性、成本优势及在基准测试中媲美GPT-3.5等大模型的能力而日益重要