Enabling small language models to solve complex reasoning tasks
5 months ago
- #MIT Research
- #AI
- #Language Models
- 语言模型（LMs）虽然在简单任务上表现出色，但在数独、高级谜题和数学证明等复杂任务上仍存在困难。
- 麻省理工学院研究人员开发了DisCIPL协作框架，通过让大型语言模型规划任务并委托给小型语言模型，实现效率与准确性的双重提升。
- DisCIPL采用LLaMPPL编程语言向小型模型传递指令和约束条件，显著改善其响应质量。
- 该系统在准确性和效率上超越GPT-4o和o1等领先模型，同时实现显著成本节约。
- DisCIPL特别擅长需要严格遵循规则的任务，如撰写受限句子、制定购物清单和规划旅行路线。
- 框架中的小型语言模型成本更低且可扩展，通过并行执行仅需大型模型极小部分成本。
- 未来计划将DisCIPL扩展至数学推理和模糊偏好任务领域，并测试与更大型模型的协作效果。