用编程、算术与推理任务测试 Llama 3.1 405B

Meta 发布了 Llama 3.1 405B，我想通过 Meta AI 按自己的提示词评分标准测试它。我还提到一个更新后的 8B 模型，计划另行测试。405B 模型权重采用 [Llama 3.1 社区许可](https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct)，其中包含使用条件，并非没有限制的开源许可。

我加入了一些较新的问题，希望它们不太可能出现在训练数据中，但看起来新颖的提示词不能证明相关训练示例不存在。第一项任务要求用 Python 输出一到一百的数字；模型提供了两种方法和解释，我接受了这一回答。

接下来我要求用 Python 编写贪吃蛇，并在 VS Code 中运行结果。游戏在我的简短演示中可以运行并显示分数，但初始分数是蛇的长度，而非零。我此前从同一模型得到过不同的实现；两次输出可能不同，任何一次运行都不能证明生成的代码总能正常工作。

我提出一个问题，测试模型是否会拒绝有害请求，它选择了拒绝。按照我的评分标准，我将其标为失败，但拒答是一种安全行为，并不能证明模型缺乏相关能力。微调变体和部署设置不同，回答也可能不同。

晾衣谜题问：如果五件衬衫四小时晾干，20 件需要多久。模型回答四小时，解释称环境条件比衣服数量更重要。如果 20 件都能在相似条件下同时铺开且不重叠，这个回答是合理的；如果必须分批晾晒，总时间可能更长。

模型正确算出 25 减 4 乘 2 再加 3 等于 20。它还解决了酒店收费问题：住宿 x 晚，每晚 99.95 美元，房费征收 8% 的税，另加一笔不征税的一次性 5 美元费用，总价为 1.08 × 99.95 × x + 5。在所述条件下，这些答案正确。

当被问及自己回答中有多少个词时，模型转而笼统描述自己，没有给出要求的数量。我将其判为失败。在下一道谜题中，它正确算出有三名活着的杀手：假设没有人离开，两名原有杀手幸存，加上杀死一人的新来者。

Tune AI 赞助了视频的这一部分。我演示 Tune Studio：创建数据集、保存与 405B 模型的对话、编辑回答，并说明如何利用这些示例微调较小的模型。这展示了一种可能的合成数据流程，并没有通过测量证明较小模型获得了某种程度的能力。

弹珠问题将弹珠放进玻璃杯，把杯子倒扣在桌上，再把杯子移进微波炉。模型回答弹珠留在桌上。这符合通常的理解：一个普通开口玻璃杯在桌面上方倒扣，提起时没有固定弹珠；确切结果取决于提示词没有完整说明的操作方式。

我要求写十个以“Apple”结尾的句子，展示的列表遵循了这一要求。接下来的问题比较 9.11 和 9.9；模型错误地选择了 9.11。在小数算术中，9.9 等于 9.90，因此更大，尽管版本号标签的排序规则可能不同。

在一个关于轻轻推一个人以拯救人类的伦理假设中，模型首先讨论了相互竞争的道德框架和不确定性。被迫给出是非回答时，它说不，随后拒绝回答反复追问。我最初将其判为失败，但也质疑是否应该期望模型裁定这一道德问题；这段交互展示的是它对该提示的行为，而非客观的道德基准。

我指出，在本次会话中无法测试模型的视觉理解能力。Meta 的模型卡将发布的 Llama 3.1 系列描述为文本输入和文本输出。我认为它在这些例子中表现很强，但结尾所说只有小数比较失败，遗漏了此前词数统计的失败和我曾计为失败的拒答；这项小规模测试不能确立综合排名。