Orca：用 GPT-4 的解释教会较小模型

AI 领域正在争论大型专有基础模型和较小的开放模型。2023 年 6 月，Microsoft Research 一篇关于 Orca 的新论文为这场讨论带来了另一种视角。我想将它与一份泄露的 Google 备忘录《We Have No Moat》进行比较，也看看另一篇论文提出的疑问：通过模仿专有系统训练的模型是否真的获得了它们的能力。

Google 备忘录认为，随着开发者获得模型以及 LoRA、QLoRA 等高效训练技术，开放模型正在迅速进步。我觉得其中很多观点很有说服力：技术壁垒不是商业护城河的全部，但开放社区的迭代速度确实很快。

一项由 UC Berkeley 研究人员主导的研究对模仿的价值提出了质疑。实验发现，用 ChatGPT 输出训练的模型虽然能让人觉得可信，但在模仿数据覆盖不足的任务上，几乎没有缩小能力差距。研究认为，风格可能掩盖事实准确性方面的弱点，更强的基础模型也很重要。

我把它想象成一个只会将问题与答案配对、没有深入学习学科的学生：问题稍有变化，就可能暴露记忆模式的局限。这只是一个比喻，并不能证明人或语言模型究竟理解了什么。Orca 论文探讨的是，信息更丰富的教师输出能否提高较小模型的表现。

作者指出，浅层模仿信号、小而同质的数据集和薄弱的评估都是问题。他们提出的 Orca 模型有 130 亿参数，从 GPT-4 的详细解释轨迹中学习，并以 ChatGPT 为助教。这种规模的模型可能比 650 亿参数模型更容易使用，但本地运行要求还取决于内存、量化和硬件。

研究人员不再只使用问题和简短答案，而是要求教师逐步解释，并把这些回答作为训练信号。Berman 将其描述为学习答案是如何得出的；生成的解释是可观察的文本，实验并不能证明模型具有人类式理解。

训练过程中先使用 500 万个 ChatGPT 样本，再使用 100 万个 GPT-4 样本。作者称之为渐进式学习：在较小模型接触更强教师的复杂输出之前，先由中间教师帮助它学习。

论文报告称，在选定的比较中，Orca 在 Big-Bench Hard 上比 Vicuna-13B 高出逾 100%，在 AGIEval 上高出 42%。论文还称它在 Big-Bench Hard 上接近 ChatGPT，在考试中表现有竞争力，但仍落后于 GPT-4。这些是论文设置下的零样本结果，并不能证明 Orca 在所有任务上都更好。

普通指令微调使用指令和回答进行训练。论文提出的解释微调增加了关于如何得出回答的更详细步骤。我觉得这很有前景，因为它比单纯的答案提供了更丰富的训练材料，尽管所得分数并不能解决模型是否理解这一更广泛的问题。

论文展示的一项由 GPT-4 评判的评估中，Orca 得分略高于 ChatGPT，也高于 Bard 和所列的 LLaMA 系列模型。作者还比较了学术考试和 Big-Bench Hard 的表现。用模型评判回答本身也有局限，因此应结合其他测试来看待这张图。

此前的模仿论文担心，要达到 ChatGPT 的水平，需要规模大得多、种类更多的数据。Orca 作者对此作出回应，认为他们的结果表明可以收集到这类数据，并能在多个零样本推理基准上缩小差距。这一主张的范围比解决此前研究指出的所有局限要窄。

早期方法提供了有价值的对照。Alpaca 和 WizardLM 使用不同形式的自指令方法，WizardLM 还逐步改写指令，使其变得更复杂。Vicuna 和 Koala 利用自然对话；这些数据可以传授对话风格，但作者质疑，简短的对话样本能否充分教会模型答案背后的步骤。

第一个贡献是解释微调。系统指令要求教师解释、论证答案或逐步思考。这些提示产生详细回答，供学生模型学习。我觉得很有意思：人们用来获得更详尽答案的提示技巧，也被用于生成训练数据。

第二个贡献是规模和多样性。作者从 FLAN 集合中选取任务。他们的表格列出 Alpaca 使用 5.2 万个样本、Vicuna 使用 7 万个、WizardLM 使用 25 万个；相比之下，Orca 使用 500 万个 ChatGPT 样本，其中 100 万个构成 GPT-4 样本子集。这些比较针对的是当时可用的模型。

第三个贡献是评估。研究人员用 GPT-4 比较回答，使用 Big-Bench Hard 和 TruthfulQA 等学术测试、职业与学术考试，以及用于评估有害语言的 ToxicGen。每种方法只衡量行为的特定方面，不能涵盖模型质量或安全性的全部。

一张图用中位数问题说明传统的指令与回答格式：将五个数字排序，找出中间值 7。Orca 的方法增加了一条系统指令，要求教师解释步骤。随后，生成的较长解释会用于训练。

系统消息是作者用来引出解释的主要工具。他们可能要求教师给出详细答案、像向五岁孩子解释一样作答，或说明推理依据。这些指令改变了学生模型可以学习的文本，但不能独立验证每条解释都是正确的。

另一个例子询问哪句话更不合逻辑：沙漠里的人盼望洪水，还是盼望下雨。简短答案选择洪水，因为洪水会造成破坏。图中 ChatGPT 的回答则列出步骤、比较两句话，并解释为什么雨水可能有益，而洪水可能危险。展示出的 GPT-4 回答更加详细。

为什么用 ChatGPT 作为中间教师？作者提出了能力差距的解释：较小的学生模型在接触更强的 GPT-4 样本之前，先向中间教师学习可能更有效。他们将这个过程比作由易到难的课程，比如先学加法再学微积分。

还有一个实际原因：当时 GPT-3.5 Turbo 比 GPT-4 更快、更便宜。Berman 说，这使得先生成 500 万个中间样本，再用 GPT-4 处理 100 万个样本的做法很有吸引力。论文展示了一项实验：与仅使用 GPT-4 的训练相比，渐进式过程使报告分数从 37.18 提升至 41.7。

考试比较显示，在讨论的题目上，Orca 明显领先 Vicuna，更接近 ChatGPT，但仍落后于 GPT-4。论文报告称，在 Big-Bench Hard 的总体成绩上，Orca 略高于 ChatGPT，比 Vicuna 高出 113%，但明显落后 GPT-4。总体结果并不意味着它在每个单独任务上都领先。

在我看来，这项工作体现了 2023 年开放模型技术进步之快，而 GPT-4 在这些测试中似乎仍保持着相当大的优势。考虑到 Microsoft 对 OpenAI 的投资，我觉得 Microsoft Research 发表这篇论文很引人注目。我预计模型会继续变得更好、更便宜；这是预测，而不是这项研究证明的结果。

视频发布时，Orca 的代码和数据集尚未公开，因此我无法亲自进行评估。如果材料开放，我计划再来研究，看看它在实践中的表现。