Scott Geng 与 Nathan Lambert：如何把 DPO 研究带入 OLMo 3

Lambert 介绍了 Scott Geng，他曾在 AI2 参与 OLMo 的 DPO 工作。两人对这一技术带来的巨大提升以及使用它的实验室似乎并不多感到惊讶。他们希望解释 DPO 在算力有限时的价值，以及把学术想法变成完整模型所需的工作。

Geng 说，最初的实验让他有机会把学术研究应用到更大规模。一组 AIME 提升超过了团队整个夏天通过 RLVR 工作获得的进展。这促使他们决定加入 DPO 阶段，但数据、模型身份和幻觉方面的问题仍然存在。

两人还回忆说，后训练数据中不寻常的例子可能让外界感到惊讶。Lambert 认为，即使数据集带来了有用的改进，它看起来仍可能很杂乱。他们稍后讨论为什么实际发布模型时要检查数据和分布。

Geng 介绍偏好数据：每个提示配有一个被选中和一个被拒绝的回答，标注信号表明哪个更好。InstructGPT 等早期 RLHF 系统用偏好数据训练奖励模型，再通过在线强化学习算法针对它进行优化。

直接偏好优化在特定假设下提供了一个离线目标，避免了许多在线强化学习所需的机制。Geng 说，基础设施的差异对学术研究者很重要：在线方法可能需要同时在显存中保留多个检查点，以及小规模 GPU 预算难以提供的工程支持。

Geng 将其与可能只有少量 GPU 的学术环境相比较。让多个模型检查点同时驻留显存，并维护可靠的在线强化学习代码，很快就可能超出预算。离线目标使更多实验成为可能。

Lambert 回忆说，2023 年 5 月的 DPO 论文发表几个月后才真正引发热潮，而不是立即如此。Tülu、Zephyr 和其他早期模型帮助展示了它的价值。他认为，包括 UltraFeedback 在内、更适合这种方法的数据集也起了重要作用。

随后的文献出现了许多 DPO 变体。Geng 说，数据往往比精确的目标函数更重要，但算法也可以弥补特定数据限制。例如，SimPO 去掉了参考模型，可以降低基础设施需求。

一个担忧是似然位移：优化 DPO 可能同时降低被选中和被拒绝回答的概率。两人说，这在某些具体情况中可能有问题，但根据他们的经验，被选中回答的似然下降并不一定妨碍评估提升。不同变体会研究不同假设和失败模式。

Geng 说，文献中的变体常常针对具体问题，例如回答长度、被选中答案的似然，或与数据不匹配的偏好模型。即便原始 DPO 目标在他的场景中表现良好，这些变体仍有助于理解它的假设。

Geng 说，在他们的工作中，原始目标经过仔细调参后仍然表现很好。Lambert 重视围绕这些算法开展的受控研究，并将其与现代智能体强化学习中尚未解决的理解缺口相对照。大型实验和复杂基础设施让受控比较更加困难。

两人观察到，智能体强化学习的成本使研究者更难分离单个变量。一次实验可能提高性能，却无法说明是哪一个组成部分带来了提升。Lambert 认为，公开消融实验有助于他人研究商业团队可能无暇单独分析的问题。

Lambert 说，实验室一旦获得有用的提升往往就会继续前进，因此 AI2 公开的消融实验格外有价值。Geng 回忆，尽管团队一直工作到截止时间，OLMo 技术报告仍然获得了大量赞赏。他们认为，记录这一复杂过程本身就是有用的研究。

Geng 转向偏好数据流程。UltraFeedback 和 Tülu 式方法收集提示词，让多个模型生成回答，再用带评分标准的语言模型评判者打分。分数被转换成选中和拒绝的回答对。Lambert 强调，扩大数据集本身就是一项重大贡献。

Geng 解释说，早期偏好流程通常先让强模型生成多个候选回答，再让评判模型从几个维度打分。Lambert 指出，按后来的标准看，当时被认为详细的评分规则其实很短。分数为训练回答对提供了排序。

两人描述了相辅相成的早期结果：Zephyr 表明人们喜欢采用这一方法训练出的模型，而 Tülu 展示了大规模基准性能。不同数据集之间的仔细比较也促进了采用；这并非仅仅一次随意的大规模训练。

Geng 从计算机视觉转入语言模型研究。他用 UltraFeedback 中被选中的回答对较新的模型进行监督微调，发现性能严重下降，尽管这些答案经过了强评判模型的选择。使用同样回答对进行偏好训练，性能却提高了。

他花了约一个月怀疑并重写监督训练流程。最终，检查数据让他想到另一种解释：生成被选中回答的模型，相对于学生模型已经很弱。被选中的答案可能不适合作为直接模仿的目标，但仍可能提供有用的比较信号。

Delta learning 假说认为，在成对梯度学习中，正负样本之间的相对差距可能比正样本的绝对质量更重要。即使被选中的回答较弱，只要它比被拒绝的回答足够好，比较仍可能传递有用信息。Geng 说，受控实验支持了这一想法。

Geng 强调，这是假说，得到的是所研究的受控场景中的支持，而不是说绝对数据质量永远不重要。令人惊讶的是，当被拒绝的回答更弱时，较弱的答案仍能提供方向性信号。

Lambert 认为这与使用正负梯度的现代强化学习方法有关。Geng 指出，离线 DPO 可以直接控制回答对，这既是机会也是限制。尽管在某些假设下损失形式相近，在线与离线方法的数据分布不同。

Lambert 将这一思路与 GRPO 式学习比较，但指出一个实际区别：DPO 回答对提供有意构造的平衡对比，在线批次的正负样本比例可能不同。Geng 同意，数据构造上的区别很重要。

当时研究者通常试图让被选中的回答尽可能强。这个假说把注意力转向了对比差距。Geng 说，这允许进行更简单的数据生成实验，而不必为每个回答都依赖前沿模型池和昂贵的评判者。

建立早期强模型数据流程本身就需要大量工程工作。两人感谢 LJ Miranda 在 AI2 协调多个脚本、模型和推理设置。Lambert 认为，现代编程工具可能减轻其中一部分准备负担。

团队使用两个较弱模型生成回答对，一个约 3B、另一个约 1.5B，并把较大模型的回答作为被选中答案。这种经验规则大多数时候与更强评判模型一致，但并非总是如此。尽管两个教师在研究的基准上都弱于学生模型，该方法在实验中仍达到或超过了对照流程。

Geng 说，这项研究最初是独立项目，Lambert 邀请他在 OLMo 3 的指令模型检查点上尝试后才进入该项目。几周之后，它表现很好。团队最初没有计划为思考模型加入 DPO 阶段，但后来决定也在那里尝试。

第一次应用针对的是指令模型，而不是推理模型。团队先发现指令模型结果令人鼓舞，随后 Lambert 提议尝试相应的思考阶段。这说明最终配方是通过实验发现的，而不是一开始就设计好的。

对于思考模型，他们在生成偏好数据的 Qwen 模型中启用了推理。由此得到的 DPO 阶段在 AIME 上带来了大幅提升。Lambert 指出，一个有趣的结果仍可能只出现在附录中；要进入最终模型还需要更多工作。

早期思考模型结果只是开始。局部实验中有效的方法，必须经受数据选择、后续训练、检查点交接和规模扩展的考验，才能成为发布模型中的可靠阶段。

团队必须让该阶段在完整配方中稳健运行。Geng 和一位合作者对大量代码、数学和指令遵循提示尝试了系统的数据混合消融实验。结果出人意料地波动，并不总是随被提高权重的领域改善。

例如，提高代码数据比例可能降低代码性能；提高指令遵循提示的比例，改善数学的效果甚至可能超过增加数学提示。Lambert 说，这表明他们对 DPO 实际如何改变模型的理解仍很有限。这与他们对其他训练阶段较平滑的领域增益预期不同。

Geng 把 DPO 混合结果与他在某些监督或中期训练消融中看到的较可预测反应相比较。在后者中，增加某个领域的示例可能带来预期改善；而在这里，改变一个比例可能影响看似无关的评估。

Geng 推测，离线 DPO 可能以某种方式过拟合或利用奖励信号，使数据比例更重要，并产生非单调结果。他并不是说混合没有用，而是团队缺乏可靠的系统方法，只能在训练大量变体后逐渐建立直觉。

最终，在他们的实验中，手工选择的数据混合明显优于简单独立采样。Lambert 补充说，在他们的配方中，后续强化学习仍从此前的 DPO 阶段获益，因此观察到的提升不只是从后续阶段借来的。

数据质量还带来了其他意外。两人讨论了一个曾在公开数据集中引发批评的奇怪例子；Geng 说团队知道它存在。他们更广泛的观点是，公开交互数据包含不寻常和重复的请求，研究者应检查数据，而不是假定分布很干净。

两人讨论了 WildChat 中部分不寻常示例的来源：该数据集来自自愿使用公开 API 的用户。他们指出，这些用户是特定人群，其请求不一定代表所有用户。重复内容和模态不匹配也可能持续存在于训练数据中。

他们还提到文本数据中要求处理图像的例子、身份混淆和可能的幻觉问题。在狭窄研究中，这些细节可能被视为次要问题，但在发布模型时很重要。两人对部分问题的来源并不确定，没有自信地把它归咎于某一阶段。

组织中的阶段交接带来了另一个挑战。SFT 和 DPO 团队并行工作；一个在 SFT 团队评估中更好的检查点，经过 DPO 后可能反而不如较早的检查点。有希望的中间结果不能保证后续强化学习后得到更好的最终模型。

Geng 解释了交接的风险：每个团队根据自己的指标优化中间检查点，但下一阶段的反应可能不同。一个交接点上最好的检查点，不会自动成为产生最佳最终系统的检查点。

Geng 认为，即使 DPO 在计算上可能更高效，额外的交接和不确定的阶段交互也许能解释一些实验室为何不采用它。Lambert 把每个阶段看成潜在关卡。两人都强调，协调和检查点选择与算法工作一样真实。

身份错误也引发了常见的跨团队问题：预训练可能包含错误身份，后训练也可能未能纠正甚至强化它。两人说，整个流程都可能有所贡献，因此很难归因。团队仍必须解决问题，而不只是寻找责任方。

从 7B 扩大到 32B 暴露了另一类问题。在较小规模时，标准基础设施可以在一两个节点上运行。到了 32B，此前看似次要的通信和显存细节变得重要，而一个使用类似配方的训练运行竟意外出现损失上升。

32B 实验同时增大了模型和节点数量。Geng 以前从未见过这样上升的损失，团队也无法暂停一个月调查：最终运行有截止时间，而且已经占用了大量集群资源。

临近截止时间，该运行占用了集群的大部分资源。Geng 说，团队追查了许多细节，而不是找到一个显而易见的单一解释。与集群物理布线不匹配的 NCCL 设置，与 DeepSpeed 分片配置产生了不良交互。

另一个令人意外的因素是如何处理被选中和被拒绝的回答。为节省显存，团队关闭了拼接前向计算，但分开计算时出现了故障。重新启用合并前向计算、缩短上下文以适应显存，并更改通信设置后，运行恢复；Geng 说，他们仍未完全理解为什么这些改动组合在一起有效。

这段经历说明了 DPO 广泛使用的障碍：小规模上可用的公开基础设施，不一定能平稳扩展。两人强调，这些障碍出现在研究想法已经显示出希望之后。让一个想法进入最终模型，所需的工程和协调远不止引用论文。

Lambert 说，不应把模型实验室引用研究论文理解为即插即用。即使核心想法来自论文，团队也可能投入大量工作，让方法适应自己的数据、基础设施和后续阶段。

Geng 说，在成功训练模型方面，他曾低估组织结构和激励的重要性。Lambert 同意，不同实验室之间的差异影响重大，却难以衡量。模型复杂度上升时，组织也必须与算法和基础设施一起适应。

谈到未来，Lambert 预计偏好式学习仍将与开放式专家任务相关。深度研究中的单个部分也许可衡量，但判断整体结果仍然复杂。针对特定领域适配高能力模型，也可能推动实际创新。

Lambert 指出，完整公开的后训练配方昂贵且少见，但它们提供了可供分叉和研究的重要基础。较小开放模型创造了机会，尽管最困难的智能体评估可能需要只有少数高校实验室才拥有的资源。

Geng 区分了以理解现象为目标的研究和直接以改进前沿模型为目标的工作。历史上这两个目标密切相关；他担心后者对学术界越来越难以企及。他提到一位工业研究者说自己的团队很少阅读外部预训练研究，同时指出并非所有领域或团队都如此。

Geng 说，学术预训练研究向大型工业团队的直接转移可能正在减弱，部分原因是预训练决策成本巨大。他认为后训练想法可能传播得更容易，因为它们通常可以更快尝试，同时强调不同团队的实践并不相同。

Lambert 认为，大型开放研究成果和后训练方法仍有机会，即使机会窗口最终会关闭。他认为这些窗口往往比人们担心的持续更久。Geng 同意，开放配方能让社区更容易在已有工作上继续构建。