Nathan Lambert：大语言模型后训练的机器学习基础

阅读 RLHF book 之前需要了解什么？课程主要面向硕士和博士学生，但有动力的读者也可以学习。本讲回顾语言模型后训练中反复出现的机器学习和概率概念。

熟悉一些机器学习和 PyTorch 知识，包括损失、反向传播和梯度，会很有帮助。我们将从语言建模、优化、KL 散度和强化学习入手。

语言模型表示 token 序列上的概率分布。每一步都预测下一个 token 的概率分布。序列概率是各条件 token 概率的乘积，训练则鼓励模型为观察到的下一 token 分配更高概率。

现代语言模型通常是基于自注意力的 decoder-only Transformer。我建议了解 Transformer 的历史和重要性，虽然架构史不属于这门课程的范围。

语言模型头将隐藏状态向量映射为 logits，即词表中每个 token 的分数。Softmax 将这些分数转换为概率分布，供模型选择 token。其他后训练架构可以添加不同的头，例如用于估计奖励或价值的标量头。

Softmax 对分数取指数并归一化，使概率之和为一。序列概率是乘积，但序列的对数概率是各 token 对数概率之和。这既方便求导，也能避免许多很小的概率相乘导致数值下溢。

一个典型的 PyTorch 示例从输入 token ID 开始，批次大小为 B、序列长度为 L。前向计算输出的 logits 包含批次、序列位置和词表三个维度。代码随后将每个位置与真正的下一 token 对齐。

构造下一 token 标签时，去掉最后一个位置的 logit，并将输入标签移动一位。应用 log-softmax，提取每个真实下一 token 的对数概率，再对相关项求和，就得到序列对数概率。

许多后训练示例使用补全掩码，让损失只选择模型回答，而不训练提示词。理解张量形状、位置移动和掩码，能够让后训练代码不那么难以阅读。

三种掩码各司其职：因果掩码阻止注意力看到未来 token；填充或注意力掩码标识批量序列中的填充部分；补全或损失掩码选择对训练目标有贡献的回答 token。

解码时，贪心选择在每一步取概率最高的 token。温度采样先缩放 logits 再进行采样：较高温度通常使选择更多样，较低温度则让概率更集中于高分 token。束搜索和截断采样是其他选择。

交叉熵比较预测分布与目标。对单个正确的下一 token 标签，最小化负对数似然会提高模型分配给该 token 的概率。Lambert 指出，这个目标与前面展示的对数概率计算有关。

基于梯度的优化会更新模型参数，学习率控制更新幅度。Lambert 说 Adam 仍广泛用于后训练，也存在其他优化器。本课程重点讨论训练方案，而非优化器细节。

预训练从大量文本和代码中学习下一 token 预测。中间训练是一个公开资料较少的过渡阶段，可以更重视高质量数据，并为推理或智能体行为做准备。监督微调随后使用指令与回答样本进行训练。

这些阶段相互影响：后训练方案依赖前面步骤产生的模型和数据。Lambert 强调，中间训练虽然在书中讨论较少，但很重要，部分原因是其细节通常没有公开记录。

KL 散度衡量概率分布之间有方向的差异，并且非负。后训练中经常使用它，例如衡量或约束策略变化。Lambert 有时称它为距离，但他在之后更正：KL 不对称，因此不是数学意义上的距离。

熵、交叉熵和 KL 密切相关。熵描述一个分布下的平均惊讶程度；交叉熵衡量用另一个分布表示目标分布样本的代价。交叉熵等于目标分布的熵加上从目标到近似分布的 KL 散度。

蒙特卡洛估计利用采样样本近似期望。例如，可以从策略中采样 token，再对当前策略概率与参考策略概率之比的对数求平均。采样分布以及 KL 的方向都很重要。

Sigmoid 将实数分数映射到零与一之间。奖励建模使用它把选中回答和被拒回答的分数差转换为成对偏好概率。它是偏好损失中反复出现的构件。

马尔可夫决策过程用状态、动作、转移概率、策略、奖励和折扣因子描述智能体与环境的互动。通过试错，智能体可以逐渐改善行为。

语言模型场景可能让这一框架看起来有些特殊，但执行长期复杂任务并使用工具的智能体，可能更接近传统强化学习环境。奖励可能稀疏或延迟，环境动力学也可能事先未知。

后训练结合采样、损失、约束、正则化和奖励等工具，改变预训练语言模型的分布，使其实现更具体的目标。Lambert 推荐 Sutton 和 Barto 的强化学习教材、Sebastian Raschka 的《Build a Language Model from Scratch》，以及课程网站上的资源。