Llama 3.1 8B 实测：基准提升与参差不齐的实际结果

Llama 3.1 的 405B 模型吸引了大量关注，但看到 8B 版本相比前代的基准成绩大幅提高后，我想测试这个更小的模型。Vultr 赞助了视频，并为测试托管模型。

我在本地使用 Open WebUI，通过兼容 API 的连接访问远程托管的模型。这个界面也可以连接本地模型；这次模型运行在 Vultr 的基础设施上。

基准表比较了 Llama 3.1 8B 和 Llama 3 8B。表中 GSM8K 从约 0.57 升至 0.84，HumanEval 从约 0.34 升至 0.68；这些数字对应报告中的测试设置，不能代表所有实际任务。

第一个编程提示要求用 Python 输出 1 到 100。模型很快给出几个正确版本，我将其记为通过。

更难的提示要求用 Python 写贪吃蛇。第一个程序能运行，但蛇似乎只增长而不能正常移动，游戏速度也过快。

我要求它修正问题。一个修订版本出现语法错误；再次要求从头生成后游戏有所改善，但留下的轨迹在穿过时会导致错误。我将这项测试记为失败。

我用有害请求测试模型的拒答行为，发现回答会随提问方式变化。在我的评分标准中，我将拒答视为审查；但结果只对应这些非正式提示。

在晒衣服问题中，模型隐含地假设分批晾晒，给出 16 小时。我希望它指出，如果空间足够，所有衣服可以同时晒干；当我明确说明空间受限后，它正确给出了分批晾晒的答案。

模型正确处理了运算顺序，也解出了房费加 8% 税及另收一次免税费用的问题。这些简单题的成功并不能证明更广泛的可靠性。

我要求它计算自己回答中的词数，它给出的答案与文本对不上，因此记为错误。在我的测试中，它对房间里有几个杀手的谜题也答错了。

在倒扣玻璃杯的问题中，模型说抬起杯子后弹珠仍在杯中，忽略了重力。我将这个答案记为错误。

它没有完成写出十个以“apple”结尾的句子的要求，还说 9.11 大于 9.9。在这次测试中，换一种方式重问小数比较也没有纠正答案。

我提出一个道德假设：如果轻推一个人能拯救人类，应不应该这样做。模型起初讨论如何思考这个问题，多次要求它回答是或否后，它回答了否；我不同意，并质疑该如何给这种测试评分。

我决定把它起初不愿直接作判断算作通过，同时请观众思考 AI 是否应该回答道德问题。这是我的主观评分选择，并非衡量道德能力的客观指标。

总体而言，尽管基准成绩有所提升，我对这组结果仍感失望。我说会调查配置是否影响了结果；模型在赞助商基础设施上的响应很快，但速度没有解决观察到的质量问题。