DPO
也叫：Direct Preference Optimization · 直接偏好优化 · 偏好优化
DPO 直接用优选与淘汰答案训练语言模型，省去单独的奖励模型和强化学习步骤，结果仍取决于偏好数据。
他们说
通过偏好对与参考策略直接优化语言模型
老白翻译
同一道题给出一好一差两个回答，让模型学会更偏向好的那个。
它到底是什么
DPO 是一种偏好优化方法。训练数据为同一提示提供优选答案和淘汰答案，模型学习提高前者的相对倾向，并参考原模型控制偏离程度。
生活里的例子
团队希望客服回答更准确简洁，可以对同一问题的两个回答做选择，并记录胜负原因，再用这些偏好对继续训练基础模型。
常见误解
- 误解：DPO 不需要人工判断。 训练依赖偏好标签，标准含糊会把冲突送进模型。
- 误解：少训一个奖励模型就没有参数要调。 参考模型、beta、长度和数据配比仍会影响结果。
- 误解：优选答案一定正确。 标注只表达选择，事实错误需要单独核验。
普通人怎么用
先用一小批理由清楚的偏好对试训，留出独立评测集，对照原模型检查偏好胜率、事实错误和拒答变化。