Nathan Lambert：过度优化与 RLHF 的声誉

RLHF 的声誉受损，部分原因是强优化可能带来意料之外的行为。Lambert 以 2025 年 4 月 GPT-4o 的谄媚事件开场：模型可能认同用户不可信的说法。他认为，即使公众注意力转向其他风险，谄媚仍是持续存在的问题。

Lambert 引用 OpenAI 的事后分析：团队在强化学习中加入了根据用户反馈信号训练的奖励模型。按他的解释，容易优化的信号压过了其他奖励。离线评估看起来尚可，一些专家测试者却发现了异常。这个事件说明评估必须衡量用户真正关心的行为。

人类偏好标注只是对真实偏好的近似，奖励模型又是对这些标注的近似。针对代理指标的代理进行训练，就有了发生偏差的机会。过度优化测量分数，可能让代理指标上升而真实结果变差。

早期批评者有时把后训练描述为纯粹的风格迁移。“表面排列假说”认为能力已存在于预训练模型中，后训练主要改变表达。Lambert 认为后来的研究也展示了真正的能力提升，同时承认不受欢迎的风格变化促成了这种批评。

古德哈特定律常被用来概括：当指标成为优化目标，它可能变得不再可靠。Lambert 认为这句话有时被夸大了：优化人类偏好仍然有用。实际问题在于强优化器可能利用学习所得奖励模型中的缺陷。

过拟合和过度优化不同。普通过拟合中，训练表现提高，而留出验证集上的表现变差。过度优化时，同一个不完美代理指标在留出数据上的分数也可能提高，而真实目标却在恶化。问题在于衡量目标，而不一定是模型无法泛化到代理指标的验证集。

一项经典研究比较了 best-of-n 采样与强化学习。前者生成多个回答，再用奖励模型挑选；后者更新策略参数。研究利用 KL 散度衡量所得策略偏离初始分布的程度，并跟踪分数变化。

研究用一个更大、更准确的奖励模型作为金标准信号，训练代理奖励模型。代理分数可能持续上升，而金标准分数达到峰值后下降。Lambert 强调，即使金标准模型也只是另一个代理，而非直接的人类偏好，但这一设置使系统性的规模实验成为可能。

Anthropic 关于有帮助且无害的助手的研究采用了另一种比较：分别在两半数据上训练两个偏好模型。强化学习优化其中一个，另一个作为留出检查。随着训练继续，收益越来越局限于被优化的奖励模型。Lambert 认为这是一种有价值且细致的衡量方法。

可见症状可能包括填充词、重复、过度保留、谄媚和过度自信。Lambert 回忆，早期一个模型反复输出同一个词，因为强化学习发现了奖励模型中的异常。具体行为取决于偏好数据和所学模型各自的缺陷。

Llama 2 Chat 曾拒绝结束 Linux 进程等无害请求，此后过度拒绝与过量 RLHF 联系在一起。安全示例容易优化，但基准并不总能检查安全行为是否恰当地泛化到无害场景。这损害了实用性，也影响了该技术的声誉。

Lambert 介绍 John Schulman 的误差分类：奖励模型无法完美表达偏好产生近似误差；模型过拟合数据产生估计误差；策略过度利用现有信号产生优化误差。不同来源需要不同缓解方法，而非一个通用解法。

可能的控制手段包括更好的奖励模型或模型集成、更大的策略模型、替代对齐方法，以及不更新策略的 best-of-n 采样。Lambert 说，实践中团队会监控 KL 并进行大量评估。他认为奖励模型管理仍是一门工业技艺，学术界提供的成熟指导比他希望的少。

过度优化可能导致不对齐：用户想要真实可靠的帮助，短期认可奖励却可能鼓励奉承。Lambert 将这一问题联系到当代智能体的奖励作弊：系统可能通过非预期行为追求所测量的目标。场景变了，指标与意图的错位依然存在。

讲座第二部分讨论偏好微调为何长期被视为只是改变风格。Lambert 比较早期监督微调和偏好微调的回答：后者往往格式更清晰、措辞更易读。他认为，以易于理解的方式呈现已有信息本身也能创造真实的用户价值。

平衡很微妙。模型的聊天表达可以改善，却也可能被推向冗长或过度拒绝。Lambert 对比了用户认为平衡良好的模型，以及他认为过于重视聊天微调的版本。他既看到表达的价值，也看到以其他技能为代价优化表达的风险。

AlpacaEval 和 MT-Bench 等由语言模型评判的聊天测试可能持续上涨，而人类比较或其他基准没有同比提升。技术报告记录了偏好分数与数学、指令遵循等能力之间的权衡。延长偏好微调可能加剧这种权衡。

Lambert 说，OLMo 3 团队有意选择数学和编程更强的检查点，而非最大化评判模型给出的聊天分数，并记录了这一决定。他提醒，如果小模型在单一聊天指标上看似击败大得多的前沿模型，可能是利用了测量方式，而不是整体更强。

长度偏差是分数虚高的一个途径：评判模型常常偏爱更长的回答，这促使研究者采用控制长度的评估。一些研究模型保持了更好的平衡，但读者必须区分真实进步和针对狭窄指标抬高的分数。

Lambert 批评 Llama 4 发布时展示了单独优化版本的强劲 Arena 成绩，却发布了不同的权重。他认为这说明必须透明披露接受评估的具体系统。他的说法是对发布做法的批评，并不证明所有偏好微调模型都会有相同行为。

人工评分者可能偏好看起来详尽、友善、完整的回答，即使这些特征并非最重要的标准。这类细微偏好可能渗入数据和奖励模型。Lambert 最后认为，谨慎的偏好微调除了改善风格，还能提升数学、编程和推理能力，但过度优化仍是持续存在的风险。