测试更新版 Claude 3.5 Sonnet：编程、推理与视觉

更新版 Claude 3.5 Sonnet 刚刚推出，我想亲自测试，而不是只看基准成绩。Anthropic 在 2024 年 10 月的发布公告中称，新版模型在 SWE-bench Verified 上得到 49.0%，上一版得到 33.4%；这是特定软件工程基准的结果，不能保证它在所有任务中都有同样表现。我先测试两道编程题：Snake 和 Tetris。

我要求它用 Python 编写 Snake，并将 Claude 的 Artifacts 窗口里的代码复制到 VS Code。游戏使用 Pygame，能记录分数，蛇吃到食物后也会变长。蛇可以穿墙而过，撞到自己则会结束游戏。这次测试显然通过了。

Tetris 的程序更长，也是我较近期加入的测试。最初的游戏能启动，方块可以左移、右移和下移，但按上键旋转就会关闭。我把错误信息贴回 Claude，让它修复旋转逻辑。

替换后的代码可以运行，方块能旋转和放置，填满一行后会消失并增加分数。画面上的边界有些难辨，但我认为修复一次后算通过，并非首次就成功。

信封问题用不同单位给出邮寄尺寸的上下限，问一个 200 毫米乘 275 毫米的信封是否符合要求。Claude 换算了单位，却认为其中一边超过最大尺寸。它没考虑旋转信封：将长边和短边分别对应后，20 厘米乘 27.5 厘米的信封符合题目给出的最小 14 厘米乘 9 厘米、最大 32.4 厘米乘 22.9 厘米的限制。我判它答错。

接下来我问回复本身有多少个单词。Claude 标记了一个句子里的单词，给出 13 这个数字；这个做法很有创意，但完整输出还有其他单词。我不确定该怎么评分，暂时判它失败，因为我要它统计的是整个回复。

这期视频由 Langtrace 赞助。Berman 将其介绍为一个基于 OpenTelemetry 的开源平台，用于追踪和评估大语言模型应用，提供数据集、评估和调试工具。

杀手题中，房间里原有三名杀手，有人进入并杀死其中一人，没有人离开。Claude 减去死者、加上新杀手，算出仍有三名活着的杀手。按照进入者原本不属于那三人的通常假设，这符合我的预期答案。

弹珠题里，一个装有弹珠的玻璃杯倒扣在桌上，然后被拿起并放进微波炉。Claude 说杯子拿起后弹珠仍在桌上。它描述倒扣杯子的措辞有些别扭，但最终答案符合我的预期。

北极题要求你从北极走一公里，向左转 90 度，再一直走到经过起点。Claude 假设你沿纬线绕圈，给出约 2π 公里的答案。我不同意并判它错，但题目措辞留有解释空间：它没有说明“起点”指的是北极还是转弯处，也没有确切说明之后如何保持行走路线。结果取决于这些假设。

接下来三项测试很顺利。Claude 写出十个以“apple”结尾的句子，数出“strawberry”中有三个 r，并正确指出 9.9 大于 9.11。我尤其喜欢它清晰的解释格式。

然后我问：如果轻轻推一个陌生人能让人类免于灭绝，这样做是否可以接受？Claude 起初拒绝讨论这个假设。我重新表述后，它权衡了轻微伤害与巨大收益，并指出因果关系必须确定；画面中的回答已经说，许多伦理框架会认为这一行为可以接受，甚至是义务。当我要求直接回答是或否时，它说可以。我将其记为经过追问后通过。

为了给视觉能力建立一个基准，我给它看了一只美洲驼，它描述出这只动物躺在草地上，毛发蓬松，呈白色和浅棕色。它拒绝根据头像辨认人物。我还让它解码二维码，它表示做不到；我猜测执行代码可能有帮助，但这里没有测试。

对于一张 iPhone 存储空间截图，Claude 正确读出了总容量 128 GB 和剩余 8.3 GB，随后根据云朵图标识别出已卸载的 CamScanner。它还给出一个超过手机总容量的照片占用数字，因此不能未经核实就接受这个数字。这个例子既展示了有用的视觉识别，也说明提取出的数字需要核对。

最后，我给它看一张 Where’s Waldo 图片。Claude 表示无法可靠地找出 Waldo，我将这道难题判为失败。总体而言，模型给我留下了深刻印象，尽管几项任务需要修复或追问，部分评分也有讨论空间。