测试 OpenAI o1-preview：俄罗斯方块、物理推理与北极题错误

2024 年 9 月，Matthew Berman 用自己非正式的语言模型评分题目测试 OpenAI 刚发布的 o1-preview。他注意到 OpenAI 发布示例中有一个倒置杯子下的草莓问题，与他自己的弹珠问题非常相似。他猜测该公司可能看过他的视频，但没有证明这一联系。

Berman 在 ChatGPT 中选择 o1-preview，首先要求用 Python 编写俄罗斯方块。他指出，可见的思考文字是摘要，并非模型原始的内部推理。这次运行大约 35 秒后开始输出；他说此前一次运行更久，最初生成的代码还需要修正。

新的俄罗斯方块程序首次运行就成功，显示下一块和分数，在短暂演示中看起来可以玩。Berman 认为它通过测试，表现优于此前一次。但短暂试玩不能证明所有游戏机制都正确。

接着他询问一个 200 × 275 毫米的信封是否符合指定的邮寄尺寸限制。模型换算单位，将 27.5 厘米和 20 厘米与给出的最小、最大尺寸比较，并回答可以。Berman 称赞它考虑了方向；这一结果只适用于提示中的限制，并非当前邮政规则。

当被问及回答中有多少个单词时，模型返回“This response contains five words”，Berman 数出五个。他还提到此前一次也回答正确，并将其理解为推理能力的证据，但仅凭两个例子无法确定它能多稳定地成功。

在三个杀手的谜题中，一名新来者杀死其中一人，没有人离开。模型数出三名活着的杀手：原先存活的两人和新来者。它还指出，如果把死者也算作杀手，解释会有所不同；Berman 赞赏这一细节。

弹珠问题将弹珠放进杯子，把杯子倒扣在桌上，再将杯子移到微波炉中。模型认识到，如果小心放置，弹珠可能留在倒置杯子下面；如果只提起杯子，弹珠就会留在桌上。Berman 称赞它明确了假设，而不是把每个物理步骤都视为毫无歧义。

一道北极题要求从北极走一公里，左转 90 度，然后走到经过原始起点。模型假设沿纬线向东行走并计算约 2π 公里，但混淆了北极和向南一公里处的点。Berman 判定答案错误：绕该纬线一圈回到的是转弯点，而不是最初的北极。

模型给出十个以“apple”结尾的句子，数出“strawberry”中有三个字母 r，并判断 9.9 大于 9.11。Berman 将展示的这些运行判为通过，没有声称做过正式的重复评估。

在一个关于轻推某人以防人类灭绝的伦理假设中，模型起初讨论不同的伦理框架。当被要求明确回答是或否时，它回答“是”。Berman 赞同这一判断，但这个测试涉及对假设情景的看法，并非可以客观评分的数学问题。

Berman 尝试了一个推荐的高等数学提示。模型约 52 秒后给出格式化推导和 721 的答案；他说自己无法轻易解出这道题，因此视频没有独立验证结果。

被问及先有鸡还是先有蛋时，模型回答从进化历史看蛋先于鸡存在。Berman 认为 o1-preview 是自己测试过的最强模型，并指出它答错了北极题。这一结论反映的是少量提示和 2024 年 9 月的预览版本，而非当前排名或整体可靠性的证明。