Reducing Doom Loops with Final Token Preference Optimization
5 days ago
- #language-models
- #inference-optimization
- #machine-learning
- 这篇文章介绍了Antidoom，一种使用最终令牌偏好优化（FTPO）的方法，旨在减少语言模型推理过程中的厄运循环——即推理期间出现的重复片段。
- 厄运循环源于过度训练的令牌、先验上下文强化以及贪婪采样，尤其是在小型推理模型处理难题时。
- Antidoom针对循环的第一个令牌，通过选择/拒绝令牌对进行训练，使其偏好连贯的替代方案，同时最小化分布干扰。
- 结果显示厄运循环率显著下降（例如，在LFM2.5-2.6B中从10.2%降至1.4%），在不教授新内容的情况下提高了评估分数。
- 可能需要多轮Antidoom应用，因为修复循环可能暴露新的故障点，且训练后通过近似贪婪采样常能实现最佳性能。
- 该方法通过流水线实现，代码已在GitHub上提供，需要仔细的超参数调优和早停策略以避免过度训练。