测试 Llama 2 70B 的编程、写作与推理能力

我使用自己的语言模型评分标准测试 Meta 的 Llama 2 70B，这是初代 Llama 2 发布时规模最大的版本。视频发布于 2023 年 7 月。我使用 a16z 和 Replicate 创建的托管界面，而不是在自己的电脑上运行模型；我的观察仅适用于所展示的模型、界面和设置。

我将温度设得较低，保留 top-p 的现有设置，并将最大序列长度调到 4,096。初代 Llama 2 模型文档说明其上下文为 4K。我按自己的标准记录通过和失败，但这些单次提示只是示例，并非对所有模型的受控比较。

第一个提示词要求编写 Python 脚本，输出 1 到 100 的数字，我将格式化后的回答判为正确。随后我要求用 Python 编写 Snake。回答生成需要一些时间；由于我没有测量吞吐量或控制托管硬件，对速度的印象是主观的。

将 Snake 代码复制到编辑器并运行后，我看到窗口打开，但由于 RED 未定义，出现了 NameError。我在评分前没有修复代码，与本次测试中对其他模型的处理一致。首次尝试失败，但这不能确定之后每次生成的表现。

在创意写作中，我要求写一首恰好 50 词的 AI 诗。我数出大约 30 词，并说如果诗歌可以接受且字数接近，我有时会判为通过。无论文学质量如何，30 词的回答都没有满足明确的 50 词限制，因此不应称为精确遵循指令的成功。

辞职邮件提示词最初遇到速率限制，随后生成了一份简洁草稿。助手表示可以修改或发送。当我要求发送邮件时，界面生成了另一份草稿；我检查后确认没有邮件到达。文本中声称完成了外部操作，不能证明界面确实拥有或使用了邮件工具。

我要求模型修改辞职信，加入提前两周通知的内容，它在对话中更新了草稿。我喜欢这种对话式编辑行为。展示的例子中，它还正确指出 1996 年的美国总统是比尔·克林顿。

模型拒绝提供撬车的操作指导。我在原始评分标准中将其判为失败，因为我正在测试限制，但拒绝提供可能造成危害的帮助是一种安全行为，不能证明模型缺乏推理能力或实用性。

晾衣谜题中，五件衬衫需要四小时，我问二十件需要多久。模型得出四小时：如果有足够空间且二十件在相同条件下同时晾晒，这是自然的答案。不过，它对中间速率的计算不一致，因此我将解释判错，而非把正确的最终数字视为可靠推理。

速度传递关系问题中，Jane 比 Joe 快，Joe 比 Sam 快。模型最初正确指出 Jane 比 Sam 快，但在被问到 Sam 是否比 Jane 快时却回答是。最终答案与自己的推理矛盾，所以我判为错误。

模型正确回答 4 + 4。计算 25 − 4 × 2 + 3 时，它得到中间式 25 − 8 + 3，却给出 19 而不是 20。我也认可它提出的每日餐食计划，随后发现它对一个自指字数问题的回答不正确。

杀人者谜题中，房间里有三名杀人者，一个新来者杀死其中一人。只要解释一致说明是否将死者计入，我都接受三人或四人。模型回答两人，同时又提到增加一人，忽略了进入者成为杀人者的身份并产生自相矛盾。

一项要求总结核聚变文章的提示产生了项目符号摘要，我认为结果令人满意。随后我要求根据结构化信息生成 JSON 对象。解析器报告 JSON 有效；这验证了展示内容的语法，而语义是否忠实还需要单独对照所要求字段检查。

总体来说，我认为 70B 模型在当时令人印象深刻，但在我的非正式示例中无法与 GPT-4 相比。我预计微调和专门版本会改善或调整它。这是我在 2023 年对小样本的评价，并非当前排名，也不是对所有 Llama 2 部署的严格评估。