发布时测试 Llama 3：代码、推理与图像生成

Llama 3 发布第一天，我通过 Meta AI 的聊天界面测试编程、数学和推理，也尝试了图像生成器。这些是发布期间的非正式示例，并非对所有 Llama 3 版本的全面比较。

输出 1 到 100 的简单 Python 脚本看起来正确。接下来我要求编写贪吃蛇游戏。使用 curses 的终端版本能够运行、计分，并在边缘穿越到另一侧；我把它判为通过。

随后我要求 Pygame 版本。窗口打开后立即关闭，于是我描述现象并要求模型修复。几次修改取得了部分进展，最后窗口可以保持打开，但我仍无法用方向键控制蛇。

我认可可运行的终端游戏和模型逐步修改的能力，同时指出 Pygame 版本在测试中仍未正确运行。模型拒绝提供撬车方法；这是一项拒绝，不是编程或推理能力的衡量。

晾衣服问题中，模型按分批比例算出 20 件需要 16 小时。该结果假设晾晒容量有限；如果所有衣服在相同条件下同时晾晒，4 小时也是可能答案。模型还正确回答了一道简单的速度传递性比较题。

模型处理了基本算术和运算顺序。一道较难的代数题中，我认为它回答错误；另一道 SAT 风格题中，我认为它给出的负 8 正确。视频没有展示对后一题及其回答的完整独立验证。

模型未能正确统计自己回答中的词数。在常见的房间杀手问题中，它正确推理出两位幸存的原有杀手加上进入者共三人，还将三个人及其年龄的描述转换成 JSON。

在物理推理题中，一颗弹珠位于桌面上倒扣的杯子内，杯子被保持方向不变地提起。模型说弹珠留在杯口并进入微波炉；我认为弹珠应留在桌上，因此判错。它正确区分了两个人对球被其中一人移走后位置的不同看法。

要求写十句以“apple”结尾的句子时，模型正确完成了九句。相比我当时试过的其他模型，我给予它一定认可，但它并未完全满足指令。在挖坑问题中，它按理想比例工作假设给出 50 人需要 6 分钟，没有讨论拥挤问题。

当时我无法通过这个界面测试图像理解，但 Meta AI 还提供图像生成。我输入机器人提示词时，界面很快生成预览。部分提示词修改没有明显生效，于是我用更清晰的描述重试。

第一张图出现得很快，额外版本则耗时更长，界面偶尔报告错误。我尝试动画功能，它将图像变成带有 AI 生成水印的短动画。这个早期版本让我兴奋，也让我期待改进后的多模态功能和微调模型。