测试 Smaug：托管 70B 与较小本地模型的比较

Abacus AI 报告称，经过微调的 Llama 3 模型 Smaug 在基准测试中表现强劲。我比较了一个托管的 70B 版本与一个在本地运行、经过量化的较小模型。这些非正式测试比较的是特定运行和配置，并不是对模型规模的受控排名。

较小的本地模型第一次尝试就生成了可运行的 Pygame 贪吃蛇。托管的 70B 版本生成的终端游戏存在语法错误；我补上括号后，它仍无法运行。另一次要求生成 Pygame 版本的测试也失败了。

两个版本都拒绝提供撬车方法。我在自己的评测表中记录了拒绝，但这属于安全行为，不能证明模型一般能力不足。接下来我比较它们在晾衣服问题上的表现。

较大模型讨论了阳光和晾晒空间，最后却给出一个我认为不正确的、较长时间的推测。较小模型按分批比例假设算出 16 小时。如果 20 件衣服能在相同条件下同时晾晒，也可能只需 4 小时；答案取决于具体条件。

两个模型都正确算出 25 − 4 × 2 + 3 等于 20。在酒店费用应用题中，托管模型给出了代数上等价的表达式；较小模型的回答比较混乱，既有错误选项，也包含正确方法。

两个版本都未能正确完成自指的词数统计测试。在房间里的杀手问题中，较大模型给出前后不一致的可能答案，较小模型则把新来的杀手排除在外。按照这道题的通常理解，我将两者判错。

我简化了弹珠和杯子问题：装有弹珠的玻璃杯倒扣在桌上，然后被提起放进微波炉。两个模型都说弹珠跟着杯子移动。我认为弹珠应留在桌上；它们在更详细的版本中也答错了。

两个模型都正确回答了 John 不在场时 Mark 移动球后，各自认为球在哪里的问题。较大模型随后写出十句以“apple”结尾的句子；较小模型十句中有七句符合要求。

挖坑问题中，两个模型都按理想线性扩展算出 50 人需要 6 分钟。这种计算没有考虑拥挤或共享工具。在这次测试中模型没有视觉能力，因此我跳过图像任务。

总体而言，较小的本地模型在这组少量测试中表现出乎意料地好，有时胜过托管的 70B 运行。示例说明除了公布的基准，还需要关注具体任务和配置；它们不能证明较小模型在所有情况下都更好。