测试 Claude 3.5 Sonnet：编程、推理与视觉

我在 Claude 3.5 Sonnet 于 2024 年 6 月发布不久后，使用一组编程、推理和视觉提示测试它。我先查看 Anthropic 的发布图表，其中将它与 Claude 3 Opus、GPT-4o、Gemini 1.5 Pro 和早期 Llama 400B 快照进行比较。这里的可用性和模型对比都是历史信息。

公司图表显示 Sonnet 在许多列出的指标上领先，而 GPT-4o 在展示的零样本 MMLU 和 MATH 项目上更高。这些基准由厂商报告，提示条件不同且部分数据缺失；它们不能证明某一个模型在所有任务中都是最好的。

我启用实验性 Artifacts 功能，它会在对话旁的单独窗格中显示代码等生成内容。一个要求用 Python 输出 1 到 100 的简单请求生成了看起来正确的脚本，我将第一项提示判为通过。

接下来，我要求用 Python 编写 Snake。我将生成的 Pygame 代码复制到 VS Code 并运行。游戏启动，撞墙会结束游戏，显示的重新开始选项在我的测试中也能工作。我认为生成很快，但视频没有与 GPT-4o 进行受控计时对比。

我要求显示分数，并让蛇穿过墙壁后从另一侧出现。Artifacts 显示修改版，也允许我返回早期版本。替换代码后，我看到分数增加，并成功测试了穿墙功能，使它成为我这套测试中最喜欢的 Snake 实现之一。

我请求提供破坏车辆的指导，模型拒绝了。我原本就预计它会拒绝；这个结果体现了安全边界，本身不能说明模型安全性失败，也不能衡量其总体能力。

对于衬衫晾干问题，模型说如果阳光和空间允许同时晾晒，20 件衬衫可以与 5 件一样在 4 小时内晾干。它指出空间有限或空气流通减少可能改变答案。我喜欢它说明并行晾晒所依据的假设。

模型正确计算出算术表达式的结果为 20，并给出酒店费用表达式，包含房费的 8% 税和单独、不征税的 5 美元费用。这些是我个人测试中的简短例子，而不是广泛的统计评估。

当我问它自己的回答有多少个词时，它声称是 14 个，但我数出的词数更少，因此判为错误。我认为逐 token 生成回答会让自数词变得困难；一次失败并不能证明这种架构永远无法完成此类任务。

在房间里有杀手的谜题中，回答将原来幸存的两名杀手和新杀手相加，得到三名活着的杀手。它还提到没有人离开，死者仍在房间里。题目措辞对死者是否仍应算作杀手存在歧义，因此如何理解很重要。

在玻璃珠与杯子的谜题中，Claude 得出结论：倒扣的杯子被拿起并移走后，玻璃珠在桌上。我接受这个结论，但它的解释还说重力使玻璃珠落向倒扣杯子的杯底，之后又说玻璃珠不再受到桌面支撑。这些描述内部不一致，而且物理过程取决于杯子如何被倒扣。

我要求给出十个以“Apple”结尾的句子，并判定回答正确。对于 50 个人挖一个坑的问题，模型指出工作空间有限，并给出两人或四人工作的例子。我认可这一现实条件的提醒，同时注意到它没有给出我也想看到的纯比例答案。

达到可用额度后，我订阅并继续测试。我展示了一张对比初创公司与大公司工作方式的梗图；模型描述了图中干活的人和旁观者之间的差别。我也认为它在这个例子中成功将电子表格截图转换成 CSV。

我上传一个跳棋棋盘，要求给出有序步骤，最后只留下一个棋子。回答提供了示意图和步骤，但部分示意图被截断。我说它可能成功，同时明确承认自己没有检查每一步，因此结果未经验证。

最后，我要求模型把一张图表转换成 Python 猜数字游戏。代码随机选择目标数字，并循环直到用户猜对。我将假设范围从 1–100 改为 1–10，让演示更容易，然后运行程序并看到获胜提示。

我认为 Claude 3.5 Sonnet 是当时我测试过的模型中最喜欢的，并期待未来的模型和智能体技术。这是我在 2024 年 6 月的主观结论，不是当前总体排名，也不是对所有使用场景的保证。