30 秒看懂
Matthew Berman 评测 GPT-4.1、mini 和 nano,重点讨论编程、指令遵循、长上下文测试及发布价格。视频包含 Box 赞助的内容,并披露了他对 CrewAI 的小额投资。 OpenAI 和合作伙伴的分数适用于其所述测试。视频中“仅限 API”的描述反映的是发布当天的情况;OpenAI 后来于 2025 年 5 月将 GPT-4.1 加入 ChatGPT。
- 1三个模型与长上下文OpenAI 发布了 GPT-4.1、mini 和 nano,支持最多 100 万 token 的上下文。
- 2编程基准的范围报告的 SWE-bench Verified 54.6% 得分排除了 23 道未运行的题;若将其计为失败,得分为 52%。
- 3赞助的企业测试Box 在自己的评估中比较文档提取表现,并赞助了这一部分。
- 4指令遵循的局限尽管一位演示者宽泛地声称模型严格遵循指令,OpenAI 困难子集的结果为 49%。
- 5长日志演示发布演示在约 45 万 token 的日志中找到一条插入的句子,这是一个具体的检索示例。
- 6发布价格2025 年 4 月 API 价格表分别列出输入、缓存输入和输出费率;混合价格取决于使用方式。
要点建议
- GPT-4.1 系列发布时支持最多 100 万 token 的上下文,但窗口大小不能保证完美理解。
- OpenAI 的 SWE-bench 结果取决于评估设置,并排除了 23 道无法在其基础设施上运行的题目。
- Box 文档提取比较是赞助商自己的测试;合作伙伴的编程结果也有特定适用范围。
- OpenAI 的困难指令遵循评估报告 GPT-4.1 得分为 49%,并非完全遵循。
- 2025 年 4 月 API 价格和最初可用性属于历史信息;GPT-4.1 后来进入 ChatGPT。
按章节阅读整理后的全文
GPT-4.1 发布与基准
Berman 介绍三个模型、编程结果以及 GPT-4.5 Preview API 拟停止提供的计划。
OpenAI 面向开发者发布了 GPT-4.1、GPT-4.1 mini 和 GPT-4.1 nano。2025 年 4 月发布时,该系列通过 API 提供,而不能直接在 ChatGPT 中使用。后来情况发生了变化:[OpenAI 于 2025 年 5 月 14 日将 GPT-4.1 加入 ChatGPT](https://help.openai.com/en/articles/6825453-chatgpt-release-notes)。
三个模型均支持最多 100 万 token 的上下文。OpenAI 表示,在其展示的评估中,这些模型与 GPT-4o 和 GPT-4o mini 相比,编程和指令遵循能力有所提高。公布的知识截止时间是 2024 年 6 月。大的上下文窗口只是容量上限,并不保证完美理解每份文档。
OpenAI 报告称,在其规定设置下,GPT-4.1 在 SWE-bench Verified 上得分 54.6%,比 GPT-4o 高 21.4 个百分点,比 GPT-4.5 高 26.6 个百分点。公司指出,500 道题中有 23 道无法在其基础设施上运行;若将这些题计为失败,GPT-4.1 的得分为 52%。结果取决于评估设置,不能代表所有编程任务的表现。
在 Scale 的 MultiChallenge 指令遵循基准上,OpenAI 报告 GPT-4.1 得分为 38.3%,比 GPT-4o 高 10.5 个百分点。在 Video-MME 的长视频、无字幕类别中,报告得分为 72%。这些是供应商针对特定测试报告的结果,并非对指令遵循或视频理解能力的普遍衡量。
OpenAI 还表示,将在过渡期后于 2025 年 7 月 14 日停止提供 GPT-4.5 Preview API。我担心,模型发布不久就要求开发者迁移会造成困扰。我提出 GPT-4.5 可能用于后续蒸馏或以其他形式回归,但这是推测,不是公开披露的训练事实。
延迟、成本与企业文档
他比较不同规模的模型,并讨论 Box 赞助的文档提取测试和演示。
我讨论了模型延迟和成本。OpenAI 的图表将 nano、mini 和完整模型放在不同的性能与速度位置,但显示的坐标轴没有标出精确延迟值。因此,这张图支持的是该评估中的相对比较,而不是对每种应用的精确响应时间承诺。
OpenAI 表示,在其比较中,GPT-4.1 mini 在多项基准上达到或超过 GPT-4o,同时具有更低的延迟和成本。我认为,对大量进行程序化调用的开发者来说,mini 可能是特别有用的选择,因为即使单次调用成本只有小差异,累积起来也可能很大。
OpenAI 表示,GPT-4.1 发布时没有单独加收长上下文费用。用户仍需为使用的输入和输出 token 付费,因此即使每 token 费率相同,处理很长的文档也可能很贵。这里讨论的价格和模型可用性都是历史信息。
本视频的赞助商兼早期合作伙伴 Box 展示了自己的企业文档提取评估,比较 GPT-4.1 和 GPT-4o。展示类别包括保险、保修和合同条款。这些是 Box 报告的自身测试结果,不是经过独立确立的所有企业文档上的表现。
Box 演示了让其系统总结 NVIDIA 财报电话会议,包括收入和数据中心趋势。这个例子展示了文档综合能力,但观众无法仅凭简短演示独立验证提取出的每个数字。视频的这一部分由 Box 赞助。
智能体、可用性与编程
Berman 讨论 nano、编程智能体、当时的 API 发布和编程基准。GPT-4.1 后来在 ChatGPT 中提供。
OpenAI 将较小的 nano 模型定位于分类和自动补全等任务。公司报告的分数包括 MMLU 上的 80.1% 和 Aider 多语言编程测试上的 9.8%;这些数字针对指定评估,不应与所有用途的成功率混淆。
我认为,更强的指令遵循和长上下文处理能力对智能体工作流程有用,包括编程工具。视频还提到了 CrewAI;我在视频简介中披露,自己是该公司的小额投资者。模型仍需要工具、集成和适当检查,才能有效充当智能体。
录制时,GPT-4.1 是通过 API 发布的,OpenAI 表示一些改进正逐步加入 ChatGPT 中的 GPT-4o。后来 2025 年 5 月的 ChatGPT 发布说明,视频中“仅限 API”的描述只是发布时的情况,并非永久可用性声明。

我比较了新系列与早期模型,包括 o3-mini high,在 SWE-bench Verified 上的结果。该任务要求模型针对代码仓库中的问题生成补丁。表现取决于提示词、工具和基础设施,因此在这个基准上领先不能证明在每个编程工作流程中都更强。
另一项编程比较考察使用差异补丁编辑,而非重写整个文件。针对性修改可以减少不必要的输出,并帮助保留无关代码,但展示的 Aider 结果是基准比较,不能保证每次编辑都正确。
演示与指令遵循
OpenAI 和合作伙伴展示记忆卡片应用,并报告编程及指令结果。这些评估针对特定任务。
在 OpenAI 的发布会片段中,演示者比较了 GPT-4o 与 GPT-4.1 生成的记忆卡片应用。后者的示例包含颜色和卡片翻转动画。这是特定提示词与输出的有用示例,而非广泛的独立可用性研究。

Windsurf 报告称,GPT-4.1 在其内部编程基准上的得分高于 GPT-4o,并在其观察中需要更少的重复编辑。另一家合作伙伴 Qodo 报告称,在评估的 200 个拉取请求中,有 55% 的情况下更偏好 GPT-4.1 的建议。这些都是合作伙伴在各自测试条件下报告的结果。
OpenAI 演示者展示了一项包含复杂格式要求的指令遵循评估,例如按指定表格生成旅行行程。他们称模型更可靠;困难子集图表显示 GPT-4.1 得分为 49%,GPT-4o 为 29%,因此它不能支持完全遵循指令的说法。
长上下文检索与定价
长日志演示说明了检索能力。Berman 最后介绍多模态测试和 2025 年 4 月 API 价格。
发布资料还展示了跨长上下文的“大海捞针”测试。所展示的检索测试取得满分令人鼓舞,但这不能证明模型能完美理解每个百万 token 输入或复杂推理任务。
在 OpenAI 的另一个演示中,演示者将一句非日志文本插入约 45 万 token 的 NASA 服务器日志,并让模型找出来。模型识别出异常行,演示者确认该行确实出现在文件中。这是在长输入中进行检索的一个受控示例。

我回顾了其他多模态和图表推理比较。OpenAI 选取的结果总体呈现出一个趋势:GPT-4.1 往往优于 GPT-4o,有时接近更昂贵的模型,但实际表现因任务和基准而异。

2025 年 4 月的 API 价格表列出,GPT-4.1 每百万输入 token 为 2 美元、缓存输入为 0.50 美元、输出为 8 美元。mini 分别为 0.40、0.10 和 1.60 美元;nano 分别为 0.10、0.025 和 0.40 美元。显示的混合价格假设了特定的输入、输出和缓存比例,因此个人账单可能不同。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
0:21EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文