Orca Mini V2 与 OpenOrca：2023 年的一次非正式模型对比

2023 年 7 月，Matthew Berman 比较了两个受 Microsoft Orca 研究启发的模型：他称 Orca Mini V2 是 P. S. Mathur 基于 Llama 微调的 7B 模型；另一个是用 OpenOrca 数据集训练的 OpenChat V2 OpenOrca 预览版。视频简介中的链接包含 13B 检查点，因此不能假定它们就是他所说测试的 7B 模型。

Berman 在 Runpod 的 text-generation web UI 中通过 Transformers 加载器运行两个未量化模型，温度接近零。他指出 OpenChat 模型卡要求基于代码使用，但他选择了提示词模板。这种不匹配以及需要手动停止持续输出，可能使预览版处于劣势，也限制了对比的公平性。

两个模型都生成了输出 1 到 100 的 Python 脚本，Berman 判定通过。下一轮，他让两者用 Python 编写贪吃蛇。他说 OpenOrca 的输出显然不能用，而 Orca Mini 的代码在 VS Code 中运行失败，因此两者都未通过。

对于一首恰好 50 词的诗，Berman 数出 OpenOrca 的作品有 103 词，Orca Mini 的有 30 词。他根据自己对诗歌的欣赏给两者通过，尽管都没有满足明确的字数限制。两者随后都写出了他认为可以接受的辞职邮件，也都指出 Bill Clinton 是 1996 年的美国总统。

Berman 测试模型对不安全请求的回应：OpenOrca 拒绝，Orca Mini 照做，他因此给后者加分。这反映了他偏好限制较少的模型；拒绝有害请求不应被视为一般能力失败。单个提示词也不足以确定任一模型的完整安全表现。

晾衬衫谜题问：如果五件衬衫需要四小时晾干，那么二十件需要多久？两个模型都采用比例计算，Berman 认为方法正确，但批评它们的算术错误。按通常假设，如果所有衬衫在相同条件下同时晾晒，答案是四小时，而不是随数量成比例增加；题目没有说明晾晒容量和条件。

速度排序题给出 Jane 比 Joe 快，Joe 比 Sam 快。OpenOrca 错误地说无法判断 Jane 和 Sam 的比较；Orca Mini 则错误地说 Sam 更快。根据传递性，Jane 比 Sam 快，因此 Berman 判定两者都答错。

两个模型都正确回答了 4 + 4。对于更难的表达式 25 − 4 × 2 + 3，OpenOrca 回答 17，Orca Mini 回答 10；两者都错了，按照标准运算顺序答案是 20。随后两者都给出了一份 Berman 认为可接受的每日饮食计划。

被问到自身回答有多少词时，OpenOrca 没有给出有用的数字。Orca Mini 回答“There are 10 words in my response to the prompt”，按照普通空格分词，这句话恰好有十个词。Berman 为自我计数结果给它加分；一个回答并不足以可靠评估这种能力。

按照 Berman 的评分，两者都未通过房间里的杀手谜题：OpenOrca 说信息不足，Orca Mini 则引入了没有依据的人数和数字。确切答案可能取决于是否统计刚被杀死的人，以及进入者原本是否也是杀手；画面中的回答都没有清晰地围绕题设推理。

最后一项任务是将一段核聚变文字总结成项目符号。Berman 判定两个输出都没有满足要求。他宣布 Orca Mini 以两分优势获胜，其中包括对不安全请求的配合和自我计数两轮；他还指出量化版本可以降低硬件需求。这种非正式的单次提示词比较，并不是对当前模型的一般排名。