OpenAI o3 与 o4-mini 的早期反响：工具使用、数学与错误

OpenAI 于 2025 年 4 月发布 o3 和 o4-mini，引发了强烈的早期反响。一位早期用户称 o3 接近天才水平，并声称它从不产生幻觉。这是个人的热情评价，并不能证明模型可靠：这些模型仍可能编造内容、犯下严重错误，包括在医疗情境中。

展示的 TrackingAI 图表根据在线 Mensa Norway 测验给 o3 约 136 分，高于图中并列的其他模型。这只是特定测验和测试流程下的结果。人类智商测试是为人设计并建立常模的，因此该数字不是经过验证的模型人类智商分数，也不是其智能的通用衡量。

最让我感兴趣的是模型在解决问题时反复使用工具的能力。一位早期用户称赞模型对科学和临床问题的回答，但这些印象不能确立其医疗专业能力或准确性。重要情境中的回答仍需合格专业人士核查。

画面中的长上下文理解表格显示，o3 在许多受测长度下得分较高，但在某些长度下有所下降。这些结果对应特定评估和提示词，并不保证任意长上下文中的每个细节都能保留。上下文窗口大小和实际理解效果是两个不同问题。

一个 o4-mini 示例在回答过程中编写并运行 Python，计算日复合增长率。我认为推理与工具调用的结合对多步骤任务尤其有用。展示的解释和代码让人可以检查计算过程，但使用工具并不能保证结果正确。

另一位评论者称 o3 有重大进步，并表示它帮助他发展了关于后劳动经济学的想法。这是个人评价，并非对某种经济理论的独立验证。模型可以帮助构思和探索，但公式和主张仍需审查。

一个报告中的地点识别示例向 o3 提供街景图像，模型给出了加拿大东部的区域猜测。我对这个例子印象深刻，但单个案例不能说明系统已经解决地理定位问题，也不能证明它总是胜过人类。图像可能包含识别线索，因此分享图片可能带来隐私问题。

另一位用户报告称，模型从一张餐食照片中推断出一家 Chicago 餐厅。解释显示模型可能利用了视觉线索和外部信息，但截图不能确立其确切过程。看似成功的答案仍可能出错，而从图像识别地点也可能影响隐私。

模型在简单问题上也会失败。一条报告中的回答称“strawberry”包含两个字母 r，正确答案是三个。另一位用户则从 o3 得到了正确答案。这些相反的例子表明，模型可以完成困难任务，却仍可能在简单任务上表现不一致。

Riley Goodside 报告称，o3 一次就找到了一个 200×200 迷宫的路径，并表示他将输出叠加在原图上进行了检查。这是一个有趣的多模态示例，但不是全面评估。另一则帖子报告称 o4-mini high 很快解决了一道近期 Project Euler 题目；该说法及其比较取决于具体设置。

MathArena 表格显示，在该评估中，o4-mini high 在 AIME 2025 II 上获得 100%，展示费用为 3.16 美元。视频还提到了总体数学分数和其他 AIME 结果。有限竞赛测试中的高分值得关注，但不能确立模型掌握了所有数学知识，也不能排除它接触过相关材料。

一项编程演示要求模型让小球在六边形内移动。在我看来，o3 和 o4-mini 的示例效果不错，而其他展示样本则出现小球逃逸或消失。这些是特定提示词下的视觉演示，不能取代代码审查、重复试验或更广泛的编程评估。

Artificial Analysis 报告称，o4-mini high 在其智能和编程指数上表现强劲，包括在 LiveCodeBench 和 SciCode 上相较 o3-mini 的提升。展示的帖子中，对 o3 的评估当时仍在进行。排名和价格都是 2025 年 4 月的历史快照，基准组成及设置会影响结果。

视频指出，o4-mini 的上下文窗口为 200K，而当时一些其他模型提供了更大的窗口。一张图比较了基准测试使用的输出词元总数。更少的词元可能降低成本或延迟，但质量、工具调用、价格以及任务能否成功也会影响效率。

最后一个视觉测试要求模型将图中人物姓名与颜色对应起来。展示的回答经过较长时间后仍将几个颜色对应错误。与字母计数案例一样，它提醒我们，出色的数学和编程分数并不能使每一项视觉或推理任务都可靠。