Nathan Lambert：合成数据与同策略蒸馏

本讲追溯合成数据如何进入现代后训练，解释同策略蒸馏的数学，并讨论 AI 反馈、Constitutional AI 和评分细则。我希望这些历史背景能帮助大家独立理解方法，而不只是把它们当作书中的章节。

我开始写 RLHF book 时，合成数据能做到多少仍有激烈争论。与等待人工信号相比，它让迭代便宜、快速得多。GPT-4 时代更强的模型以及能力不断提升的开放权重模型，扩大了可供选择的教师范围。

合成数据广义上指用作训练信号的模型输出。在我看来，它如今出现在领先模型训练的各个环节，而人类仍在前沿提供重要信号。人工数据与合成数据的平衡是本讲反复出现的问题。

合成数据可以扩充少量提示词、生成监督训练回答、为奖励模型提供偏好标签，或者用评判模型提供奖励信号。Self-Instruct 探索了合成指令；UltraFeedback 成为很有影响力的 AI 生成偏好数据集。

早期工作可以用强大的 API 模型生成文本，再用这些回答训练模型。推理模型让情况更复杂，因为有用的推理轨迹未必以相同方式公开。训练前可以过滤重复或低质量的生成结果。

人工编写的回答曾主导指令数据。Lambert 说，尽管学术研究有时难以在标准评估上显示明显收益，业界仍会使用人类偏好。如今许多评估本身也使用模型生成的判断，而人工评估依然有价值。

曾有广泛争论认为，反复使用生成数据训练可能导致模型崩塌。Lambert 认为现代实践展示了合成数据的实用性，并指出过滤是一种实际防护；他对早期争论的批评反映了他自己的判断。

早期合成指令数据集按后来的标准看规模很小：2023 年的一个例子可能只有数万条提示词和数百万 token。随着推理模型出现，数据集规模和生成提示的多样性都显著扩大。

蒸馏有两种含义。技术意义上的知识蒸馏让学生模型学习匹配教师的输出分布，使用软概率。在后训练的常见用法中，它也可能仅指用另一个模型生成的回答训练较弱模型。

技术方法比较教师和学生的对数概率，常使用基于 KL 的损失；与直接对生成文本进行监督训练相比，它需要更多信息和机制。广义的日常用法只需要提示词和教师生成的回答。

最初的教师—学生研究早于现代语言模型后训练。知识蒸馏不必只针对单个下一 token 标签训练，还可以传递教师对各种可能 token 的概率分布信息。

记号方面，可以考虑提示词或状态、学生产生的动作，以及另一个表示教师输出的符号。教师和学生各自定义概率分布。当我们从离线训练切换到同策略训练时，明确每个样本的来源至关重要。

Kim 和 Rush 在 2016 年的序列级研究考察了一个词级基线：学生在现有文本语料上匹配教师概率。教师也可以根据提示生成回答，创建供学生训练的序列。

列举所有可能回答在计算上不可行。序列级方法转而用束搜索生成一个教师回答，再用选中的序列训练学生。这与后来使用模型生成答案进行学习的做法相似。

交叉熵把这些方法联系起来。教师与学生之间的交叉熵等于教师熵加上从教师到学生的正向 KL 散度。教师固定时，针对学生最小化交叉熵，也就是最小化这个正向 KL。

离线蒸馏可能遇到曝光偏差：学生训练时看到教师生成的轨迹，实际使用时却自己生成。早期一个陌生 token 可能把学生带入教师训练数据没有覆盖的上下文，进而让错误累积。

模仿学习提供了一个类比。DAgger 研究学习者自己的轨迹，并由专家标注应采取的动作。在其假设下，普通监督模仿的累积误差可能随轨迹长度按平方增长。Lambert 提醒，这并不能直接证明语言模型也符合该界限。

同策略蒸馏通过从学生采样、让教师监督学生实际访问的状态来缓解这种错配。在模仿学习的类比中，这可能改善累积误差的增长方式，但语言模型的情况更复杂。

两项早期贡献是采用强化学习式策略梯度方法的 MiniLLM，以及广义知识蒸馏。Lambert 说，某些模型家族如今的实现更接近后者的框架，而 MiniLLM 帮助引入了强化学习形式。

在同策略目标中，学生生成动作，教师保持固定。所得形式可以使用反向 KL，由学生分布提供样本。KL 散度不对称，因此方向很重要。

正向 KL 在教师分布下加权样本，通常倾向于覆盖教师的概率质量。反向 KL 在学生分布下加权，常被描述为寻找模式。这些是有用的直觉，但两个目标不能互换。

一种强化学习形式用逐 token 对数比值估计的负值作为优势，即对采样 token 计算教师对数概率减去学生对数概率。Lambert 在后来的问答中更正了幻灯片上的等式：单个采样项只是 KL 的估计，只有在期望意义上等于完整散度。

当教师给某个采样 token 的概率高于学生时，优势为正，鼓励学生采取该动作。与单个稀疏结果奖励相比，这提供了密集的逐 token 监督。Lambert 提到，将其与可验证的结果奖励结合是一个受关注的方向。

多教师同策略蒸馏会在多个教师之间选择，例如按提示词的领域选择。Lambert 认为这种方式越来越多地出现在开放权重模型中，并指出需要为不同任务匹配合适的教师。

同策略自蒸馏希望在没有单独的更强教师时获得同样的密集监督。模型生成轨迹后，带有特权上下文的修改版本充当教师。学生学习其中的差异，从而在推理时不必再依赖额外提示。

Lambert 描述了一个 Cursor 例子：评判器发现常见错误，并在轨迹中插入提示。训练使用带提示的上下文监督后续 token。他预计这种方法需要能力足够强的基础模型，并需仔细控制任务分布。

逐 token 蒸馏还带来实际兼容性问题：教师和学生通常需要兼容的 tokenizer，才能逐 token 比较。这比单纯使用另一个模型的文本训练，更依赖模型之间的血缘关系。

对比三种方法：序列蒸馏从教师生成的轨迹开始；同策略蒸馏从学生轨迹开始，由教师评分；自蒸馏则向学生轨迹添加特权上下文，再从得到的信号中学习。

AI 反馈改变了收集偏好的成本。Lambert 对比了每条提示可能花费数美元甚至更多的人工标注，以及以美分计价的模型反馈；后者让开放研究和迭代更容易。

他给出业界讨论中的一个直觉：人工标签可能噪声较高，但系统性偏差较低；模型评判可能更一致，却共享其模型家族的偏差。这是思考数据的启发式判断，并非普遍适用的测量结论。

最佳组合仍未确定。人类偏好数据昂贵，也难以做好，但 Lambert 预计团队仍会用它将实验系统与真实用户需求联系起来。合成偏好则更容易用于起步。

专门的评判模型试图提供更便宜或更好的反馈，但强大的通用模型也擅长评判。模型评判存在系统性偏差，例如可能偏爱同一模型家族的输出。这些问题对训练和评估都很重要。

Anthropic 在 2022 年提出的 Constitutional AI，是更广义的 AI 反馈强化学习方法之一。它利用一组原则生成批评、修订回答并选择偏好。

原始流水线先在监督阶段根据原则批评和修改回答，再用修订后的答案微调。偏好阶段依据原则比较回答、训练偏好模型，并利用该信号进行强化学习。

原则例如可以询问回答是否鼓励暴力或是否真实。在不同样本中抽取原则，会塑造合成数据的组成。Lambert 指出，如果原始数据已经是合成数据，单独设置监督修订步骤的价值可能有所不同。

评分细则将明确标准扩展到没有唯一可验证答案的提示词。细则提供检查清单或特定领域的评分标准，可以结合硬性要求与较灵活的质量判断。

学生生成回答后，另一个评判模型根据评分细则评估它。所得分数可以成为强化学习奖励。为每条提示生成细则又增加了一个合成数据步骤，因此流水线中可能有模型生成标准，供其他模型应用。

Lambert 说，领域专家可以帮助设计评分细则，并强调要仔细检查生成的标准和输出。评分细则已用于指令遵循、深度研究和长文生成等没有简单验证器的任务。

因此，合成数据既可以像同策略蒸馏那样直接充当优化信号，也可以通过 AI 反馈、Constitutional AI 和评分细则扩展现有训练流水线。下一讲将转向人类偏好的历史与实际收集。