Orca：从 GPT-4 的解释中学习

2023 年 6 月，我比较了两篇关于向更大语言模型学习的近期论文。一篇发现，模仿可以复制风格，却未必弥合重要的事实性差距；微软研究人员的 [Orca 论文](https://arxiv.org/abs/2306.02707)报告，使用更丰富的解释训练的 130 亿参数模型取得了更强结果。

Orca 作者认为，浅层问答模仿和不充分的评估可能夸大小模型能力。他们利用更强教师生成的解释训练一个基于 LLaMA 的模型，先用 ChatGPT 辅助，再使用 GPT-4 示例。

论文报告，在其零样本 Big-Bench Hard 和 AGIEval 比较中，Orca 显著超过 Vicuna-13B，在 BBH 上接近 ChatGPT，但总体仍落后于 GPT-4。这些结果适用于论文的特定基准和提示条件。

视频发布时，作者表示正与法律团队商议按 LLaMA 政策发布权重差分。这个历史表述不应被理解为关于模型当前可用性或许可证的结论。

130 亿参数模型比公开报告的 GPT-3 1750 亿参数小得多。较小模型部署所需资源可能更少，但某台笔记本能否运行还取决于内存、量化和软件。

此前的[模仿研究](https://arxiv.org/abs/2305.15717)发现，系统可能凭风格给评审留下深刻印象，却在模仿数据支持较少的任务上表现不佳。Orca 的结果挑战了简单否定模仿的看法，但并未推翻那项研究在其自身设定中的观察。

作者用系统指令要求教师提供解释，而不仅是最终答案。在一个常识例子中，教师先解释为何人们不会期待洪水，再给出选择，使学生获得更多可模仿的信息。

报告的实验中，训练顺序也很重要。作者描述了先以 ChatGPT 为中间教师、再使用 GPT-4 示例；视频比较了这种渐进方法与只用 GPT-4 子集训练。

论文报告了以 GPT-4 作为评审的开放式评估，同时指出成对比较存在位置偏差。因此，模型评审分数需要谨慎解读，并应结合其他评估。

学术与职业考试题提供了另一种比较。Orca 在报告的评估中超过了选定的 Vicuna 基线，但不能把这些分数和相对提升泛化为它在所有方面与更大模型相当。

Big-Bench Hard 包含从 BIG-bench 中选出的困难任务。我举出逻辑陈述和时间序列等例子；不同任务的表现差异很大，因此少数胜出项目不能概括全部能力。

作者将报告结果描述为零样本，并指出多轮使用和高级提示等其他情境仍有待研究。某种设置下的基线既不是保证，也不是固定上限。

我讨论了更强模型为小模型创建可复用工具的研究，并推测工具使用或基于过程的反馈可能改善后续系统。这些想法并非这里讨论的论文所证明的 Orca 结果。

视频指出该模型当时尚未发布，并讨论作者对研究用途的定位。后续获取方式、使用条款及后来模型的问题，需要另查当前资料。

我推测微软研究人员可能在考察较小模型能否低成本模仿更大模型。这是我对研究动机的猜测，并非研究团队有记录的声明。

论文认为，从详细解释中学习是改善模型的有前景方向，并呼吁更好的评估。其证据针对所测试模型与数据集；可靠推理和事实性仍需要直接评估。

视频最后引用 Ilya Sutskever 和 Sam Altman 在 2023 年对开放模型与专有系统竞争的评论。他们的预测和商业论点反映当时的观点，并非对后来结果的核实。

Altman 强调，找到并执行下一个想法的难度可能成为竞争优势。讨论以邀请继续研究开放模型作结；这一领域在 2023 年视频发布后仍在不断变化。