GPT-5 发布回顾：路由、编程、基准测试与可靠性

摘要

30 秒看懂

经过一周测试后，Matthew Berman 评述 GPT-5 的发布，包括快速与思考模式、编程演示、医疗信息辅助、推理基准和安全表现。他将自己的体验与 OpenAI 公布的结果并列呈现。本文中的产品可用性和模型比较反映的是 2025 年 8 月发布时的情况，而非当前产品。

1快速与思考模式的路由OpenAI 描述了一个统一的 ChatGPT 系统，由路由器在快速模型和深度推理之间选择。发布时还推出了 mini 和 nano API 版本。
2编程与前端设计Berman 根据自己的测试称赞模型的编程与前端输出，并试用了几个示例应用。
3谨慎比较基准OpenAI 发布图表显示，GPT-5 Pro 在使用 Python 的 AIME 2025 测试中获得 100%；不使用工具和使用工具的分数属于不同配置。
4特定测试中的事实错误减少OpenAI 报告，在联网并使用具有代表性的匿名 ChatGPT 提示词时，事实错误相对减少；模型仍然可能犯错。
5图像缺失时的回应画面中的例子对比了 o3 对缺失图表给出的答案，以及 GPT-5 请求用户上传图像的回应。
6减少迎合Berman 表示，模型质疑了一个薄弱的商业点子，而不是自动称赞。

要点建议

发布时，ChatGPT 使用路由器根据请求在快速回答和更深入推理之间选择。
Berman 在自己的测试中发现 GPT-5 擅长编程和前端设计，同时指出创意写作质量的评价具有主观性。
OpenAI 报告的基准分数取决于具体任务和配置；跨模型比较需要匹配工具使用和评估条件。
OpenAI 在特定联网评估中报告了更少的事实错误，这并不意味着幻觉已经消失。
Berman 认为 AI 能帮助理解医疗信息，同时强调它不能取代医疗专业人员。
发布时 GPT-5 Pro 是单独提供的扩展推理产品，免费和付费层级的使用限额也不同。

主题OpenAI 模型与训练 Benchmarks 编程智能体 AI Safety

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

GPT-5 发布与路由器

Berman 解释发布时的 ChatGPT 系统、快速和思考模式以及最初的访问层级。他还讨论了不同尺寸的模型。

发布前一周，我一直在测试 GPT-5，给我留下了深刻印象。OpenAI 将其描述为一个统一的 ChatGPT 系统：它可以快速回答，也可以针对更困难的请求花更多时间思考。路由器根据任务复杂度、工具需求和用户明确表达的意图选择方式。这些产品描述和访问细节来自 2025 年 8 月的发布。

在思考界面中，我可以要求它讲一个长故事，然后选择“快速获取答案”来中断较长的思考过程。用户也可以明确要求系统更加深入地思考。OpenAI 表示，路由器会从模型切换、回答偏好和测得的正确性等信号中学习。

发布时，OpenAI 向各个 ChatGPT 层级开放了 GPT-5，但使用限额不同：Plus 用户获得更多使用量，Pro 用户可以使用具备扩展推理能力的 GPT-5 Pro。OpenAI 还向开发者发布了 GPT-5、mini 和 nano 版本。这些发布时的条件不应直接视为当前访问规则。

OpenAI 既强调基准测试，也强调实际工作。在我自己的编程测试中，模型表现很好，尤其是在前端生成和较大代码仓库的调试方面。GPT-5 API 模型的上下文窗口为 400,000 个 token。它对布局、排版和留白的处理尤其令我印象深刻。

编程、演示与健康

他分享编程体验并试用前端示例，接着讨论创意写作和赞助商的文档评估。他还探讨了医疗信息辅助及其局限。

OpenAI 的示例应用包括简单的跳球游戏、像素绘画工具、打字游戏和架子鼓模拟器。像素工具响应有点慢，跑酷游戏也比较简单，但这些例子展示了制作小型交互式前端可以有多快。在我的主观测试中，创意写作表现出色，但笑话和幽默仍然较弱。

这期视频由 Box 赞助。Box 展示了自己进行的企业元数据提取评估，比较 GPT-5 和 GPT-4.1。其图表报告 GPT-5 的总体准确率为 90%，在该评估中高出五个百分点；结果只适用于 Box 的测试，不应推广到所有文档或任务。

幻灯片 2 / 7Box 元数据提取评估赞助商的图表比较了 GPT-5 和 GPT-4.1 在其自有文档提取测试中的表现。

我经常用 AI 把复杂的医疗记录或检查结果转化成自己能理解的语言。OpenAI 报告，其与健康相关的 HealthBench 评估表现有所提升。这可以帮助理解信息，但不能取代医疗专业人员；遇到严重健康问题应咨询医生。

数学、编程与其他基准

Berman 回顾 OpenAI 的基准测试图表，并让 GPT-5 制作与竞争模型的比较。不同结果使用了不同工具和配置，会影响可比性。

幻灯片 3 / 7AIME 2025 测试配置OpenAI 的图表区分了使用与不使用 Python 以及思考模式的结果。

OpenAI 的发布图表报告，GPT-5 Pro 在使用 Python 的 AIME 2025 测试中得到 100%，不使用工具时得到 96.7%。我希望原始图表能包含更多竞争模型，因此让 GPT-5 搜索其他结果并制作比较图。它在操作时展示了推理摘要，也使用了网络搜索。

生成的比较图除了 GPT-5 的不同配置，还展示了 Grok 4、Gemini 2.5 Pro 和 Claude Opus 4.1 的数字。这样的图表有助于了解已公布的结果，但工具、设置和来源不同，直接排名可能产生误导。OpenAI 明确提醒，不应将使用工具的 AIME 分数与没有工具的分数直接比较。

发布演示还报告 GPT-5 Pro 在 FrontierMath 第 1 至第 3 级得到 32.1%，并讨论了 Harvard–MIT 数学竞赛、GPQA Diamond 和 Humanity’s Last Exam。Berman 生成的比较引用了其他公司的结果，包括 Grok 4 Heavy 在一项启用工具的 Humanity’s Last Exam 配置中取得更高分数。这些数字描述的是特定评估，而非整体智能水平。

幻灯片 4 / 7编程评估结果画面中的图表展示了 OpenAI 的 SWE-bench Verified 和 Aider Polyglot 结果。

在编程方面，OpenAI 展示的 SWE-bench Verified 结果显示，使用思考模式的 GPT-5 得分为 74.9%，GPT-4o 为 30.8%；GPT-5 的 Aider Polyglot 得分为 88%。OpenAI 指出，其 SWE-bench 评估使用了 477 个经过验证的任务。其他图表涵盖工具调用、视觉问题、视频理解以及具有经济意义的任务。

在我的测试中，速度很突出：模型经常能快速给出高质量回答。OpenAI 还报告，在启用网络搜索、使用代表 ChatGPT 流量的匿名提示词时，GPT-5 回答出现事实错误的可能性比 GPT-4o 低约 45%；GPT-5 思考模式比 o3 低约 80%。这些是该项评估中的相对结果，不是普遍错误率，也不能保证准确。