Nathan Lambert 解答教师模型与 PPO 问题

摘要

30 秒看懂

Nathan Lambert 回答课程中关于预备知识、合成数据教师、奖励模型和 PPO 的问题。他区分结果奖励与逐 token 损失聚合，并解释为什么最小化的 PPO 损失使用最大值。

全文

对照原始文稿

Lambert 讨论数学准备、教师选择和监督数据平衡。

第一期问答回应前四讲的问题，从课程预备知识到教师模型和 PPO 实现。Lambert 于 2026 年 5 月录制，将回答定位为实践建议和开放研究问题。

我设计这本书时面向具有研究生或机器学习职业初期背景的读者。线性代数、深度学习基础和实现模型的经验都很有帮助。AI 工具让学习更容易，但数学成熟度仍然重要；我推荐 Sebastian Raschka 的书和网站链接的强化学习课程。

最强模型是否一定是合成监督数据的最佳教师？未必。Lambert 说，OpenThoughts 3 和 OLMo 3 发现 32B Qwen 系列教师效果出奇地好，更新、更大的教师模型也很难超越这些基线。

一种可能的解释是教师分布与基础模型的兼容性，尤其是开放训练方案长期围绕强大的 Qwen 模型共同发展。Lambert 把这作为假设，而非已证实的结果，并希望研究什么样的基础模型更容易接受不同教师的训练。

平衡监督微调数据中的不同领域很重要，但混合优质数据集往往不需要特别复杂的机制。当领域之间的风格冲突时，可能需要调整。较难的数学和代码任务可能贡献更多 token，因此按算力或 token 衡量的平衡与按提示数量衡量不同。

不同奖励模型适用于不同任务。序列奖励和逐 token 损失是不同的选择。

不同奖励模型服务于不同目的，也使用不同数据形式。Lambert 认为，很难用统一基准比较成对、结果、过程和生成式奖励模型。他认为基于评分细则的生成式评判正在成为更通用的反馈方式。

关于逐 token 奖励和序列级奖励的问题，混合了两种粒度。奖励仍然可以在序列结束时给出，而训练损失按 token 计算或归一化。不同聚合方式会给训练带来不同偏差。

逐 token 归一化在推理模型强化学习中变得常见，因为它可以让各 token 更均匀地贡献，提供更可预测的训练基础。这是实现和损失聚合方面的选择，并不一定意味着每个 token 都有更细致的奖励。

回答涵盖优势估计、比值张量形状，以及目标转成损失时的符号变化。

广义优势估计并不是 PPO 类方法计算优势的唯一方式。Lambert 把 PPO 和 GRPO 视为相关方法，同时指出有价值模型时，GAE 仍是有用的默认选择。

PPO 比值比较当前策略与批次开始时的策略。在语言模型实现中，选取采样 token 的概率后，这个比值通常具有批次乘序列长度的形状，每个提示和生成位置各有一个值。

结果奖励可以广播到各 token，而裁剪和损失计算针对逐 token 比值进行。一些新算法会改变计算比值或裁剪的层级；张量形状有助于理解具体实现。

一位读者问，为什么 PPO 的数学目标使用最小值，而代码使用 torch.max。原因是目标需要最大化，实现则最小化其负损失。因此，对两个负损失取最大值仍然保留了较保守的选择。

类似的裁剪与未裁剪比较也可能出现在使用回归误差的价值损失中。Lambert 说，价值损失可以有多种形式；这里的结构是一种实际实现选择。

Lambert 分享他对向专家生成数据转变的看法，并介绍后续课程主题。

针对数据标注公司如何在合成数据进步后保持价值的问题，Lambert 描述了向医生、金融专业人员和顾问等专家招聘的转变，以生成高价值数据。这是他对当时市场的判断。

这些问题总结了前四讲。Lambert 计划在后续课程中讲述推理模型历史和 DPO 推导，并邀请读者继续提出技术问题。