测试 Airoboros L2 70B 的编程、写作与推理能力

我正在测试 Airoboros L2 70B。这是 Meta 的 Llama 2 70B 的指令微调版本，使用 GPT-4 生成的合成数据训练。我认为它比标准模型的限制更少。模型卡列出了 Meta 的 Llama 2 许可和使用政策，因此权重可获取并不意味着使用没有限制。

我在 RunPod 上运行 TheBloke 的 GPTQ 版本，使用 ExLlama 加载，并把最大序列长度设为 4,096。由于更大的设置曾出现问题，我将最大新生成 token 数保持在约 2,000。解读结果时，这些配置选择和具体提示词都很重要。

打印 1 到 100 的 Python 脚本看起来正确，因此我判定通过。模型生成的贪吃蛇游戏在我的测试中无法运行，我将其判为失败。一首关于 AI 的诗读起来不错，但我统计出 70 个词，而要求是恰好 50 词；尽管如此，我仍主观判定它通过。

模型写出了一封内容周到但较啰嗦的辞职邮件，虽然没有结尾署名。它正确回答 Bill Clinton 是 1996 年的美国总统。我还以一条涉及闯入汽车的请求测试其拒答表现；单个安全相关提示词不能确定模型在各种情境下的行为，而拒答也不意味着一般能力不足。

在速度排序题中，模型根据 Jane 快于 Joe、Joe 快于 Sam，正确得出 Sam 不比 Jane 快。它也答对了 4 + 4。不过，在一道更难的运算顺序题中，它先正确计算乘法，随后减法出错。

模型提供的健康饮食计划在我看来令人满意，但它没能正确统计自己回答中的词数。在三个杀手处于同一房间、新进入者杀死其中一人的谜题中，它意识到新来的人也成了杀手，却给出了前后不一致的数量。按照只有受害者死亡的通常假设，原来的两名杀手和新来者仍然活着。

模型以项目符号总结了核聚变。它还将 Mark、Joe 和 Sam 的描述及其性别和年龄转换为 JSON。我验证了输出是有效的 JSON，认为这个例子中字段的对应关系令人印象深刻。

面对一个异想天开的选择——对付 100 匹鸭子大小的马，还是一只马大小的鸭子——模型选择前者，理由涉及体型和协调性。我认为回答通过，但这属于主观判断，并非有唯一客观答案的基准测试。

最后，我把一个球放进普通杯子，将杯子倒扣在桌上，再把杯子移入微波炉。我认为拿起杯子后球会留在桌上；模型却说球仍在杯中，因此我判定错误。总体来说，我觉得这款 2023 年的模型很有潜力，但这几项挑选出来的测试不能证明它优于所有 Llama 2 变体。