Nathan Lambert：后训练与 RLHF 概览

开篇讲座介绍语言模型后训练和基于人类反馈的强化学习。Nathan Lambert 描述领域如何发展、经典 RLHF 方案，以及向推理模型和规模化强化学习的转变。

自回归语言模型根据前面的 token 预测下一个 token 的概率分布。重复这一过程即可生成文本。Transformer 以可扩展的架构普及了自注意力；现代系统还处理文本以外的模态。

Lambert 从 2017 年的 Transformer 讲到 GPT-1、ELMo 和 BERT，再到 GPT-2 与逐渐发展的缩放定律研究。GPT-3 让人们关注少样本行为：提示词中的例子可以引导模型完成新任务。

他回顾 2021 年关于大型模型成本与价值的“随机鹦鹉”争论，并表达了自己对这一框架的批评。2022 年 ChatGPT 发布后，RLHF 作为让语言模型更实用的方法受到广泛关注。

在 Lambert 的叙述中，2023 年模型规模进一步扩大；2024 年推理模型开始普及，模型在回答前投入更多计算；2025 年编程智能体、搜索和工具使用受到更多关注。他把这作为宽泛的历史勾勒。

预训练在海量文本上进行下一 token 预测，建立流畅表达、知识和能力，但基础模型通常更像文本续写器，而不是对话助手。

给基础模型一个未完成的句子，它可能继续生成类似网页的文本。指令微调改变预期交互格式，让模型能够回答用户问题。后训练模型仍继承基础模型学习到的表示。

Lambert 区分指令微调、偏好微调和可验证奖励强化学习。指令数据可以教授格式和具体行为；偏好反馈优化难以用唯一正确答案描述的质量；可验证奖励有助于训练数学和代码等可检查任务。

这些方法可以相互补充。Lambert 认为指令微调适合教授已知目标分布，而强化学习是强大的回答级优化方法。他也指出，偏好训练可能产生谄媚等不受欢迎的特征。

经典强化学习问题通常表示为马尔可夫决策过程：智能体观察状态、采取动作、获得奖励，环境随之转移。策略试图最大化累计奖励，同时平衡探索和利用。

恒温器或平衡小车倒立摆说明了重复控制：智能体观察环境、选择动作，并面对新的条件。语言模型强化学习使用相同的基本思想，但具体设置和奖励来源不同。

许多真实世界目标难以编码为数字奖励。人类比较可以提供代理信号：判断哪首诗或哪种行为更好，可能比写出完美例子或手工设计奖励更容易。

早期偏好学习研究使用人类反馈训练奖励预测器来评估智能体行为，其中包括后空翻例子。Lambert 还强调 2019 年将人类偏好用于语言模型的工作，以及后来的 WebGPT、InstructGPT 和相关研究。

语言模型的常见偏好样本包含一个提示和两个回答，由人类选出更好的回答。基于这些比较训练的模型可以为新回答评分，提供人类偏好的不完美代理。

与丰富的多步环境相比，简单的 RLHF 回合可能只包括提示、生成回答和一个序列级奖励模型分数。参考策略 KL 惩罚有助于保留预训练模型的有用行为。

经典 InstructGPT 方案分为三步：收集示范并训练监督策略；收集比较并训练奖励模型；使用强化学习针对奖励模型优化策略。

在监督阶段，示例教授所需的回答和格式。微调使用下一 token 目标，但由于数据集和目标行为更窄，通常采用不同于预训练的批次大小和学习率。

对于奖励模型，标注者比较同一提示的不同回答。Bradley–Terry 等成对偏好模型将分数差与偏好概率联系起来。训练完成后，奖励模型可以为单个回答提供标量分数。

在强化学习阶段，策略生成回答并获得奖励模型分数。KL 惩罚将策略与参考模型比较，参考模型通常是监督训练检查点，以限制过度变化。整个系统可能需要多个模型和细致的工程工作。

DPO 是另一种路径：它直接推导偏好训练损失，无需单独训练奖励模型并运行传统强化学习循环。拒绝采样则生成候选回答、评分、保留最佳结果，再用选中输出进行微调。

学习得到的奖励只是用户满意度的代理。过度优化可能产生冗长、重复或谄媚的回答。Lambert 认为奖励模型过度优化是重要的技术和产品问题。

训练方案从相对较小的监督与偏好数据集发展成更复杂的多阶段流水线。提示词仍然重要，因为它决定模型接触哪些任务，但阶段数量和安排差异很大。

Lambert 认为，领域从相对明确的 RLHF 方案转向更广义的后训练：多轮监督数据、偏好方法、强化学习和其他工具相互结合。他把 RLHF 视为更大流程中的一个组成部分。

一种常见批评认为 RLHF 主要改变风格。Lambert 不同意这会让它变得不重要：清晰呈现本身就有价值；他还指出，同一个基础模型使用不同后训练方案会产生不同表现。这是他对这场争论的解释。

他将自己的观点称为“能力引出”：强大的基础模型提供广泛基础，后训练试图从中引出有用行为。他承认这种框架与大量强化学习能够带来显著额外提升的新证据之间存在张力。

对于合适的任务，RLVR 用可检查信号取代学习得到的偏好奖励。Lambert 说，这帮助更大规模的强化学习训练和推理时扩展成为可能；在他的叙述中，o1 和 DeepSeek R1 是重要里程碑。

推理时扩展为特定问题投入更多计算，例如使用更长推理或并行尝试。训练时扩展则花更多计算更新模型。这是两个不同维度，但它们可以相互促进。

Lambert 引用公开的推理和智能体训练曲线，说明更多强化学习计算可能带来更好表现。在他对 OLMo 3.1 的介绍中，团队在首次发布后延长训练并观察到进一步提升，说明后训练本身也可能消耗大量算力。

长期前沿包括智能体、工具使用和规模化强化学习，但本书关注人类偏好、奖励衡量和过度优化等持久问题。Lambert 最后介绍课程幻灯片、参考资料和后续讲座。