Direct Preference Optimization vs. RLHF
a year ago
- #AI
- #Machine Learning
- #Fine-Tuning
- Together Fine-Tuning 平台现已支持直接偏好优化（DPO）技术
- DPO通过对齐语言模型与人类偏好，打造更有帮助、更精准且更个性化的AI助手
- 现代语言模型开发包含预训练、监督微调（SFT）和基于偏好的学习三阶段
- DPO是替代人类反馈强化学习（RLHF）的新方案
- 该技术直接在偏好数据上训练模型，无需强化学习框架
- DPO通过调整模型权重来提升优选回答概率，同时降低非优选回答概率
- 相比RLHF，DPO方案更简洁高效，无需额外训练奖励模型
- SFT与DPO组合能构建更高效的训练流程
- DPO特别适用于：提示工程不足时、人类擅长比较而非生成时、需可控改进的场景
- DPO在需要细微质量判断的任务中表现优异，但不适用于有唯一正确答案的任务
- --dpo-beta是DPO关键超参数，用于控制与参考模型的偏离程度
- DPO训练需监控准确率和KL散度等核心指标