一支十来人的团队，在 Meta 的底座上追平了 Meta 的后训练

2024 年 11 月 21 日，艾伦人工智能研究所（AI2）发布了 Tulu 3。这是一次大胆的尝试：拿 Meta 自家的 Llama 3 底座，做后训练，然后去挑战官方的 Llama 3.1 Instruct，评测范围涵盖事实性、知识、数学、代码、指令遵循和安全性。Meta 的 Llama 3 项目投入了数百人，其中很大一部分在做后训练。AI2 只有十到十五人。

他们追平了它，而且节奏很稳定，用 Lambert 的话说，像节拍器一样。项目启动几个月后，他们超过了 Llama 3 Instruct；又过了一个半月，8B 模型超过了 Llama 3.1 Instruct；再过两周左右，70B 也超过了。Lambert 认为，关键在于数据。Meta 的论文只勾勒了方法的大纲，对超参数语焉不详，也没有分享任何后训练数据。Tulu 3 为这个项目构建了三到六个新数据集，并将它们与现有的公开数据集混合后全部发布。

Nathan Lambert 是 AI2 的研究科学家，也是机器学习领域读者较多的通讯 Interconnects 的作者。发布当天，Nathan Labenz 在《The Cognitive Revolution》节目中邀请他，用两小时细致拆解前沿后训练在没法藏住配方的情况下到底是怎么运作的。Labenz 的看法是，这是对一个长期不透明的 LLM 开发阶段，最详细的一次公开讨论之一；而且团队规模小到其他实验室真的能研究这套做法。

这家研究所成立已满十年，经费来源是 Paul Allen 留下的遗产。近来它换了新掌门人 Ali Farhadi，此人原是华盛顿大学的教授，团队最为人熟知的是计算机视觉里的 YOLO。如今研究所把精力集中到开放语言模型上。Lambert 是在录制前一年多才加入的，他对这家非营利机构的生存逻辑说得毫不客气：讲不出让人信服的故事，就留不住支持；而要证明开源仍然有分量，手里就得有拿得出手的模型。

Tulu 已经是第三代。Tulu 1 混合了社区在 2023 年倾倒出来的指令数据集。Tulu 2 证明，在 70B 规模上，DPO 依然有帮助。Tulu 2.5 则想要定个高下：PPO 和 DPO 相比，如果调得好，PPO 大概会略胜一筹，但不值得为偏好算法耗掉一生，因为你完全可以去做更好的数据。这一结论，成了 Tulu 3 的理念。

到了 2024 年，风向已经变了。英伟达的 Nemotron 论文、苹果的一篇论文，以及 OpenAI 和谷歌在 Chatbot Arena 上飙升的分数，都说明同一件事：后训练的配方已经不再是一步 SFT 加上在聊天数据上做 DPO。Llama 3 背后是数百人，AI2 只有十到二十人。问题在于，学术团队还能不能做现代的后训练：引入新数据、新算法，把多个阶段排好顺序，而不只是去追 AlpacaEval 式的感觉。他们训练了大约一千个 8B 模型去寻找配方，然后在 70B 上验证，并在自家的 OLMo 底座上跑同一套流程，看它能否迁移。Lambert 听说，Llama 3.1 Instruct 基本是 SFT 加 DPO，没有花哨的可验证奖励强化学习。他敢打赌，Tulu 3 加入的一些东西，会出现在 Llama 4 或 Llama 3.5 Instruct 里。

预训练是在网络规模文本上做下一个词预测。SFT 用的是同样的损失函数，只是换成高质量的问答对，并加入聊天格式的标记。偏好方法则改变损失，让模型从被选中的回答和被拒绝的回答之间学习。Tulu 3 分三个阶段：SFT、DPO，然后是基于可验证奖励的强化学习（RLVR）。Lambert 给出的成本清单特别具体。SFT 才是最烧算力的部分。最终的数据混合约一百万条提示，大多是单轮对话，因为他们不是 Meta 那样的 AI 团队，没有多轮评测。其中超过 30% 是数学，包括针对中级代数等薄弱微技能的定向子集，此外还有来自 Cohere Aya 的 10 万条多语言样本。虽然他们的评测集里没有多语言这一项，但 Chatbot Arena 确实有一块真实的多语言用户。

在 32 块 H100 上，他们基于 Transformers 的代码，用这套数据混合训练一个 8B 模型，大约一天。Labenz 估算每个 H100 小时约 2 美元，那就是大约 1500 美元；Lambert 说一千美元左右就可以，而且他们大概能用一半的提示拿到 90% 的效果。DPO 的规模小一个数量级，大约几十万条提示，16 到 32 块 GPU 跑六到十二个小时，成本大约是 SFT 的四分之一。工程上的窍门，是缓存参考模型的对数概率，免得在内存里同时放两个 70B 模型。如果跳过这一步，DPO 就会变得像 PPO：在 70B 规模上，PPO 需要 128 块以上的 GPU。

PPO 的环境是奖励模型，价值模型给每个词元打分，最后的奖励通过贝尔曼更新回传。DPO 没有奖励模型：损失看的是整个回答的对数概率之和，然后拉大被选中回答和被拒绝回答之间的差距。Lambert 说，钻进 DPO 的数学，你会发现一个怪事：它降低被拒绝回答的概率，比提高被选中回答的概率还要多。RL 则更灵活，它能以 SFT 和 DPO 做不到的方式改变推理步骤。RLVR 这个新阶段，会奖励正确的数学答案，以及那些 Python 能检查的 IF-Eval 约束，比如“至少 100 词、三段”。这里没有奖励模型，只有价值函数。随便拿一个旧的 Hugging Face 检查点，直接套用这个方法，GSM8K 就能提升约 15 分，别处也没有太大的崩塌。

能力上限取决于底座本身。在 Llama 3 8B 上，GSM8K 无论怎么做都卡在 87 到 88。在 AI2 七月发布的 OLMo 底座上，同一配方把 GSM8K 从 60 提升到了 75。没人能说清楚是什么定义了这个上限，但它开启了一种新的混合方式：如果 RL 能够挽回数学成绩，你就可以在 SFT 上少花一些预算。粗略地说，评测成绩的 90% 来自 SFT，最后的 10% 来自 DPO 和 RL。AlpacaEval 式的“感觉”分数，主要来自后两者。他们的 SFT 模型在自家评测集上已经超过了 Llama 3.1，只是说话有点僵硬。偏好调优让它成了一个像样的对话伙伴。

Lambert 给出的数字最密集。Tulu 2 到 Tulu 2.5，也就是把 DPO 换成调得好的 PPO，只有约 1%。Tulu 2 到 Tulu 3 则约有 14%，全部来自数据整理和流程。大多数算法论文能拿到的提升只有 1% 到 2%。在你真正在意的特定数据上，提升可能达到它的十倍。他们在 Tulu 3 末尾试过 PPO，但从来没有超过自己的 DPO 设置。他仍然认为，如果认真去做，PPO 是可能做得更好的。把实验时间和数据花在上面，比花四倍算力去追求半个点的提升更有价值。他把 PPO 对 DPO 的争论称为一场很傻、却很有意思的辩论，而且永远不会消失。

闭源实验室用人来标注偏好数据。AI2 没有这笔钱，所以每个偏好标签都来自 LLM 评审。他引用 John Schulman 的话：人类偏好数据噪声高、偏差低；LLM 偏好数据噪声低、偏差高。目前没人能说清楚它的偏差是什么。流程依然能跑。他们用自己 SFT 模型生成的回答，重做了 Ultrafeedback，再由 LLM 打分。每次检验，这种同策略偏好数据都胜过随机挑选的 Hugging Face 数据集。DPO 通过回答中词元的对数概率来更新权重。如果这些词元来自模型从未见过的分布，学习信号就会被扭曲。

这个项目在 OpenAI 的 API 账单上花了超过 5 万美元用于评审，团队对此颇为纠结，因为这笔钱给了一家闭源公司，而他们做的是开放研究。同样的工作，如果换成人工，要花数百万美元。但相比 GPU，这点钱只是零头：大约几千块 H100，每年数千万美元的算力资产。闭源实验室，他说，会让一个人全职盯住一个领域。比如你就是 Python 代码的指令与偏好负责人，一个月只磨这一件事，十二个人各守一块。学术实验室永远无法达到这样的深度。另一条路线是从 Instruct 而不是从底座开始微调：如果 Llama 发布了一个强大的 Instruct 模型，那么创业公司无需整套 Tulu 3 就能做专门化。不过，从底座出发的工作仍然是生态系统需要看到的，因为透明度正是在那里缺失的。

Qwen 的 72B 模型，用 Llama 3.1 的 Minerva 方式在 MATH 上提取答案，得分只有 6。换成 AI2 更灵活的提取器，识别 boxed 格式、“the answer is”、冒号，以及另一种模式，得分就是 74。同一个模型，换一把尺子，差距能差出十二倍。每个实验室都在把训练调向自家的评测格式。在比较数字之前，你得先知道用的是哪把尺子。Tulu 3 的大部分后训练评测，使用聊天模板、零样本思维链，并根据领域混用零样本和八样本。推理任务的答案提取，是其中最棘手的一环。

他们把每一个训练集都和开发评测集做了去污染。规则很严：如果某个数据集与某个测试集的提示完全一致的比例超过 2%，整个数据集就剔除。OpenInstruct、NVIDIA 的 Daring-Anteater 和 Hugging Face 的 NuminaMath TIR 都有数学数据污染。NuminaMath 是为一场 Kaggle 竞赛做的，而不是为公平的排行榜。他们也在发布热门数据集的去污染版本，并且保留了一个从未公开的未见评测集。你仍然无法得知，你拿来比较的那些模型是否在测试集上训练过。Lambert 猜测，论文里一定有一段带刺的话，明确说出了这一点。

他早先的项目 RewardBench，也发现了自己的提示被泄漏。有人用了 MagPie，这是一种操纵聊天模板的技巧，能让模型吐出符合分布的提示，结果模型吐出了测试题。一个原本用来生成训练数据的方法，变成了检验模型是否作弊的审计。Lambert 说，评测只会越来越有价值，成本也越来越高。行业需要一个真理之源。他预计，会出现一批新创业公司、学术工作，以及针对数据污染的监管。

SFT 仍然是下一个词预测，外加少量特殊标记。对于格式，它不需要太多；对于数学，它需要算力，就像预训练那样，用来启动思维链。Lambert 注意到，Llama 自己的报告，把远多于偏好调优的数学、代码和推理内容放进了指令调优。偏好学习是一种对比损失。在 PPO 中，奖励模型并不真正参与更新：它是一个局促的环境，对整条轨迹返回一个分数；然后价值模型通过贝尔曼备份，把这个最终奖励分摊到每个词元上。如果不对价值模型做热启动，也就是用奖励模型或 SFT 检查点初始化它，或者等几百步让随机初始化赶上来，策略就动不起来。

DPO 跳过了价值模型。把被选中和被拒绝的序列，按它们的对数概率之和进行比较，损失则拉大这两个和之间的差距。DPO 早期的长度问题，就源于这种求和。Lambert 不再对它有清晰的逐词解释；原作者或许有。两者都和 SFT 有很大不同。Jason Wei 的说法，他很喜欢：RL 是一种更灵活的损失，有更大的回旋余地。奇怪的是，你可以先预训练、再 SFT，然后对模型扔进一个全新的损失函数，而 KL 正则化就足以把它固定住。这类事实让他对 Dario Amodei 的“它们只是想学习”的世界观多了几分同情。

KL 是一种预算：比较新模型与指令微调参考模型的对数概率，参考模型在多轮之间通常保持不变。聊天式 PPO 常常会花掉 10 到 20 之间的 KL 额度。他们在 GSM8K 上的 RL 大约只有 1，也就是说，他们几乎没有挪动模型。对奖励模型做 best-of-n 采样花的 KL 更少。让模型包含某个词、写至少 100 个词，然后把 RL 跑得太久，它就会把那个词打印一百遍然后停下。Lambert 说，推理时计算是 RL 的近亲：从一个提示采样更多回答，就是探索；测试时方法关心的是你如何采样、重新加权和打断，以找到一个高价值的结尾，蒙特卡洛树搜索也在其中。Anthropic 那种在 logit 层面进行的“我们有没有把握”的干预，正落在训练与推理分界线的推理一侧。

如果在数学上让 RLVR 一直跑，远远超过它有用的地步，其他评测早已崩掉，思维链就开始停顿、重做某一步，并且说：“等等，我再检查一下。”这和 OpenAI 在 o1 上展示的口头禅一样。Lambert 很谨慎：这只是 n=1，模型已经过度训练，普通技能也被弄坏了；而且如果把温度调高，人们也见过 Llama 做出类似的事。Reflection 70B 原则上是相关的想法。他们并没有在 o1 的推理轨迹上做 SFT，因为拿不到 o1 的轨迹。两位 RL 负责人 Hamish 和 Costa 是通过观察生成结果发现的，而这本来就是 RLHF 中为确认模型仍然正常工作要做的事。他把这件事发到了推特上，因为阴谋论味十足的 o1 圈子会很爱看。

他对 o1 的解读并不神秘。官方说法是，它是一个专门做推理的大规模 RL 系统。各家实验室几乎肯定在做类似的版本，尤其是在代码上。他预计，Anthropic 和谷歌的同类系统会在几个月内出现，而不是什么秘密架构。它们大概会混用确定性验证器和学习型验证器，同时在许多领域上训练，并且做更多的 RL，还有各种技巧。这是一次突破，不是故弄玄虚。Labenz 和 Lambert 都同意，超人水平的代码是显而易见的早期胜利：反馈快速且客观。超人水平的诗歌定义不清，只会是一种嘈杂而缓慢的信号。

开源的难题在于燃料。OpenAI 不公开 o1 的推理轨迹，而人工标注对 AI2 来说太贵了。录制前几天，DeepSeek 展示了 DeepThink，一个 o1 风格的模型，它会展示自己的推理过程，并计划开源。Labenz 说，这足以让那些认为西方实验室会轻松抢在中国之前实现 AGI 的人坐下来想想。Lambert 对复现的设想是：生成看起来正确的种子轨迹，让语言模型编辑并延续思维链，用这些种子初始化一个模型，然后在能够验证的领域上做 RL。反馈循环才是难点。存在性证明已经摆在那里，Llama 405B 仍然是一个可用的开放权重推理模型。在 2025 年之前，除非署名的是谷歌或 Anthropic，否则他不会认真对待那些“开源 o1”的 GitHub 仓库。

十到十五人的团队不需要严格的分工；超过这个规模，Lambert 说，就会变成一团乱麻，而增加管理者本身也有代价。按学术惯例，他是末位作者；按业界惯例，他是第一作者，因为总得有人把整件事装在脑子里。四到七个人完成了相当于第一作者级别的工作：数据、实验和评测体系。早期是算法层面的工作：两个人花了一段时间，试图让类 Llama 的拒绝采样奏效，结果是个负面结果，因为 8B 模型自己生成的指令比种子数据更差。其他人比较了 DPO 的各种变体。后来他们砍掉了长尾，也就是长上下文、多轮对话，以及任何他们不信任评测的东西，转而针对自己正在失分的评测，去找专门的数据。

先混合做 SFT，然后做一个月的同策略 DPO：一个人负责生成和 OpenAI 评审，另一个人负责训练，然后交给 RL。模型合并是一个廉价但持续有效的技巧。在三到五个随机种子上运行相同的 SFT 数据混合，然后合并它们，或者直接选最好的种子，有时候胜出的正是某一个种子。站会在论文的哲学部分和现场都被描述为一片混乱：坐下，写更新，然后是五十分钟的技术信息洪流。前期探索，临近发布日期时才逐渐收敛。Llama 无法这么快。权重每年只发布一两次，而且是最终版，在法律和战略上都很沉重，这迫使它的投入周期比 OpenAI 或谷歌的 API 节奏大得多。

无法衡量的差距是性格。Claude 有性格，Tulu 3 没有，因为性格没有评测指标。如果你提出一个四个月的项目，只为把个性调到恰到好处，CEO 会问你在做什么。学术界靠评测生存。Anthropic 的领导层可以直接说，这就是 Claude 应有的样子。Lambert 认为，剩下的大部分提升仍然来自数据：超参数会趋于稳定，而你为某个特定评测所需的数据量其实并不高。当你缺少评测时，就放弃那种能力，因为在一个分布式项目里，评测就是真理之源。Labenz 自己给单任务微调的配方，也就是十个高质量样本、三轮迭代、如果整体较弱就把数据扩大 10 倍、再为某个边缘情况打几个补丁，依然成立。Tulu 3 则是在目标是“通用模型”时会发生的事情。

如果你不是在做通用聊天机器人，Lambert 的对应关系很实用。每个任务一个模型也可以，只要你的界面总能选中正确的那个。如果你的验证器分布与工作匹配，RL 基本会自己跑通。AI2 有一个早期的“LLM 健身房”，是一个开放仓库，你可以在里面加入约束并训练。他认为，这才是专门语言模型微调的下一个时刻：为细分领域解锁可验证的 RL，而不是又一轮单领域 SFT。在真值模糊的地方，LLM 当裁判加偏好集，是后备方案。他补充说，偏好在图像、音频和视频中更加强大，因为那里人类的品味表达得更丰富；一个检测提示词中的名词是否真的出现在画面里的检测器，本身就是一种精确的图像指令遵循。

同策略并不神秘。PPO 的人喜欢它，因为你是在模型自己的样本上打分和更新。在 DPO 中，你计算回答中词元的对数概率，而这些数字会移动权重。如果这些词元位于当前模型从未见过的奇怪区域，信号就更差。实验也印证了这一点。闭源和学术界的 RLHF 已经分叉：业界在爬 Chatbot Arena 的排名和用户留存，学术界则永远不会这样做，因为它没有上亿用户。Lambert 认为，那些显示 LLM 评审在下游评测上胜过人类的论文，往往挖得不够深；他仍然想看到标注者的指令，是如何一路流进最终模型的。对于“让数学数字涨上去”，他可以接受没有这一层。但对于任何真正关于模型应该是什么样子的偏好来说，人与机器之间的偏差仍然很重要，而我们并不理解它。

o1 风格的训练会结束开源追赶的可能吗？他先保留了判断，然后又不保留了。兴趣太多了。社区进入 o1 的方式，就像当年进入 GPT-4 那样，不会等一代。Llama 405B 仍然在那里。微调技术栈本身不够；有人必须搞清楚，如何在 Transformers 库里为类 o1 模型提供支持。他的 Interconnects 队列里，已经有另一篇关于 o1 的文章在排队。他会去 NeurIPS。他的号召是：去用 Hub 上的数据集，用那个健身房，并且做他从 Tulu 2.5 起就一直给出的建议：别再争论偏好算法了，去做更好的数据。