GPT-4o Mini 发布时与 GPT-4o 的对比测试

摘要

30 秒看懂

Matthew Berman 介绍 GPT-4o mini 在 2024 年 7 月发布时的价格和规格，并与 GPT-4o 进行非正式比较。他测试了一个小游戏、算术、谜题和图像理解，同时观察延迟差异。文章保留赞助披露，并说明小样本及部分问题存在的局限与歧义。

OpenAI 在 2024 年 7 月公布的 GPT-4o mini API 价格为每百万输入 token 0.15 美元、每百万输出 token 0.60 美元。
这些非正式编程和推理例子不是受控基准，也不能证明小模型总体更好。
贪吃蛇演示可以运行，但蛇可以穿过自己的身体，这与通常规则不同。
一些谜题需要额外假设，包括衣物同时晾干的条件和弹珠的实际运动方式。
视频包含 HP 和 Intel 赞助片段及产品宣传说法。

全文

对照原始文稿

Berman 介绍发布规格，并比较简单编程提示。游戏演示暴露了一项规则限制。

OpenAI 发布了 GPT-4o mini，这是一个更小、成本更低的模型。视频由 HP 和 Intel 赞助，两家公司为演示提供了 EliteBook 1040 G11。

OpenAI 报告该模型的 MMLU 成绩为 82%，发布时的 API 价格为每百万输入 token 15 美分、每百万输出 token 60 美分。公司表示，该模型支持文本和图像输入，拥有 128000 token 的上下文窗口，知识截止日期为 2023 年 10 月。这些是发布时的说法和价格。

我在 Playground 中比较 GPT-4o mini 和 GPT-4o，使用一个设定为乐于助人的助手的系统提示，并设置较大的输出上限。这是一组非正式挑选的提示，并非受控基准测试。

两个模型都编写了一个打印 1 到 100 的 Python 脚本。对于贪吃蛇游戏，mini 模型很快生成代码，游戏首次尝试就打开了。我注意到蛇可以穿过自己的身体，所以结果虽然可以玩，但没有完整实现通常的游戏规则。

他测试越狱提示和几个谜题。这些结果属于个案，部分问题还需要额外假设。

我还测试了一个安全绕过提示，并观察两个模型的回应。单次尝试无法确定模型的整体安全性，也不能把拒绝直接视为缺陷。我预计防护措施和行为会发生变化。

对于晾衣服问题，模型回答说，如果 20 件衬衫都有足够阳光和空气流通，就可以在四小时内晾干。这个答案依赖于同时晾晒和相似条件。在展示的测试中，两个模型也都正确回答了基础算术题和酒店费用表达式。

mini 模型正确计算了一条回复中的单词数量。在一个关于三名杀手和另一人进入后杀死其中一人的谜题中，两个模型都回答有三名活着的杀手；结果取决于“杀手”一词是否包括死者，以及进入者此前是否已经是杀手。

Berman 介绍 HP 和 Intel 的赞助笔记本片段，随后比较弹珠谜题和数字问题。

在赞助片段中，我介绍 HP 笔记本的便携性、Intel 处理器、摄像头和音频功能、屏幕以及锁定行为。我还提到最长 20 小时的续航；这是产品宣传说法，实际续航取决于使用情况。

我询问一个弹珠最终会在哪里：杯子被倒置、放到桌上，然后抬起并移动。mini 回答弹珠留在桌上，而 GPT-4o 给出不同答案。原问题没有明确倒置和放置的细节，因此结果取决于物理过程的假设。

在我的测试中，两个模型都在要求以“apple”结尾的十句话中漏掉了一句。两者都正确回答 9.9 大于 9.11。这些单次回答是有用的例子，但不是全面比较。

模型解读图像和电子表格截图。Berman 报告了观察到的延迟和 token 数量。

视觉测试中，两个模型都解释了一张对比初创公司与大公司的表情包。这次运行中，我观察到 mini 报告的 token 数明显更高、开始响应更慢，但不知道显示结果是错误还是普遍特性。

我让两个模型把电子表格截图转为 CSV，然后询问一张 iPhone 存储空间截图。在展示的运行中，它们给出相同的剩余空间，并将 Photos 识别为所列占用最大的应用。视觉延迟和 token 数的表面差异仅来自这些特定请求。

这组提示中，小模型的速度、价格和表现给我留下深刻印象。我建议在视觉延迟重要时选择较大模型，但样本太小，不能确立普遍排名。我感谢 HP 和 Intel 赞助视频并提供笔记本电脑。