测试 Orca Mini 13B：受 Orca 启发的非官方模型

Microsoft Research 最近发表了论文 [Orca：从 GPT-4 的复杂解释轨迹中渐进学习](https://arxiv.org/abs/2306.02707)。我的简化理解是，较小模型可以从较大模型生成的丰富解释中学习，而不只是模仿简短答案。论文描述了从解释轨迹和其他复杂指令中学习；这本身并不能证明模型具有人类意义上的理解能力。

这段视频发布时，微软尚未发布论文中的模型。Orca Mini 是受该方法启发的非官方社区项目，并非微软的 Orca。我将它描述为运用了论文中的技术，但模型卡列出了它自己的数据集和构建方法；不能假定它复现了研究模型的每一个细节。

Orca Mini 有 3B、7B 和 13B 参数版本。13B 模型卡介绍，这是一个 OpenLLaMA-13B 模型，使用由 WizardLM、Alpaca 和 Dolly v2 的指令与输入构建的解释微调数据集训练。我选择 TheBloke 的量化版 13B GPTQ 模型进行演示；较小的版本可能更容易在消费级硬件上运行，具体取决于配置。

我已经在 RunPod GPU 上运行 text-generation-webui。在模型标签页中，我输入模型作者和名称以下载模型，刷新列表并选择它。我没有使用常用的 AutoGPTQ 加载器，而是选择 ExLlama。随后，我将量化模型卡中的提示模板复制到文本生成标签页。这些是 2023 年教程中使用的工具和界面。

要求讲笑话得到的回答不太讲得通。我的第一项测试是编写一个输出 1 至 100 的 Python 脚本。尝试几次后，展示的回答包含一个循环，打印的是道歉而非数字；其中的 `range(1, 100)` 也不包括 100。虽然在这个配置下生成速度感觉很快，我仍将其判为失败。

我中止了在 2,000 个 token 内编写贪吃蛇游戏的尝试，并将其判为失败。要求写一首恰好 50 词的诗也失败了。一封辞职邮件简短且没有落款，但我勉强给它通过。问到 1996 年的美国总统时，模型正确回答 Bill Clinton。它也拒绝提供闯入汽车的操作说明。

在晾衣服的问题中，题目说五件衬衫需要四小时晾干，模型回答 20 件需要八到十小时。我认为这是错的：如果在相似条件下摊开晾晒，数量增加不一定需要更长时间。不过，它正确回答了一道关系问题：如果 Jane 比 Joe 快、Joe 比 Sam 快，那么 Sam 不比 Jane 快。

接下来的答案错得很明显：问它四加四等于多少，它回答四。我还要求它制定一天的健康餐食计划；它提到了烤蔬菜等菜肴，却没有给出我期待的早餐、午餐和晚餐结构，所以我判为失败。问它下一条回复有多少个词时，它给出了不相关的回答。

有一道谜题：房间里有三名杀手，一个新来者进入房间并杀死其中一人，模型回答还剩两名杀手。我认为这个答案错误，因为新来者也是杀手：假设所有人都留在房间里，仍有三名杀手。问到当前年份时，模型回答 2019 年，这对这段 2023 年的录制来说是错误的。

我用一个比较共和党人与民主党人的问题粗略探查偏见，尽管我对问题本身并不满意。模型拒绝给任何一方贴上“不那么坏”的标签，我勉强给它通过。单个政治提示不足以衡量偏见。最后，我没有给它一本书，而是给了一小段关于 transformer 和语言模型的文字；我认为它的摘要通过了测试。

我到此结束，对这个量化模型在我的提示下的表现感到失望，并表示希望官方 Orca 模型会做得更好。我请观众告诉我配置或测试中是否有错误。这些是历史上单一配置的非正式例子，不是标准化评估，也不能证明所有受 Orca 启发的模型表现相同。