30 秒看懂
在这期 2025 年 3 月的新闻回顾中,Matthew Berman 讨论了 GPT-4o、Gemini 2.5 Pro 和 DeepSeek V3 的更新,以及 ARC-AGI-2、MCP 集成、图像模型和 QVQ-Max。他引用基准成绩及有关 OpenAI 财务的报道,并给出自己对速度和实用性的评价。排名、推出情况和预测都是当时的历史记录,并非当前状况。
- 1GPT-4o 更新Artificial Analysis 报告其所选指标的得分提高;Berman 还表达了自己对响应速度的担忧。
- 2Gemini 与 DeepSeekBerman 称赞 Gemini 2.5 Pro,并回顾 DeepSeek 更新后的 V3 检查点及其报告的基准成绩。
- 3更难的 ARC 基准ARC-AGI-2 的早期表格在特定任务和成本设置下比较了人工小组与 AI 系统。
- 4MCP 集成Zapier、OpenAI 和 Microsoft 当时正在增加对通用协议的支持,以便将模型连接到外部工具。
- 5QVQ-MaxQwen 推出视觉推理模型;所引用的公告无法证实 Berman 关于这个特定模型开放且可下载的说法。
要点建议
- Artificial Analysis 报告称,2025 年 3 月的 GPT-4o 更新提高了其在所选智能和编程指标上的非推理模型得分。
- Berman 称赞 Gemini 2.5 Pro 的编程速度,并介绍了开放权重的 DeepSeek-V3-0324 检查点发布。
- ARC-AGI-2 发布时,受测 AI 系统的得分较低,并有人工小组作为对照,但单一基准不能证明通用智能。
- Zapier、OpenAI 和 Microsoft 宣布或记录了 MCP 集成,用于将智能体连接到工具。
- Berman 讨论了 Reve Image 1.0、Ideogram 3.0 和 QVQ-Max,但 QVQ-Max 公告不能证实他关于其权重可下载的说法。
- 他引用的 OpenAI 收入数字是 CNBC 报道的 2025 年预测,而非实际收入。
按章节阅读整理后的全文
GPT-4o 与 Gemini 更新
Berman 回顾更新后的 GPT-4o 及其基准成绩,同时提到延迟和图像生成限制。他称赞 Gemini 2.5 Pro 的编程能力和速度。
2025 年 3 月下旬,我回顾了一系列 AI 发布。Artificial Analysis 报告称,更新后的 GPT-4o 在其所选智能和编程指标上有所提升,在所比较的非推理模型中编程表现领先。这些分数只针对该评估机构的基准测试及当时可用的模型,并非涵盖所有任务的永久排名。

画面中的智能指数从 2024 年 11 月版本的 41 分升至 3 月更新版的 50 分,在该指数中仅次于新推出的 DeepSeek V3。我还讨论了对算力的高需求,并提到杰文斯悖论:更便宜或更高效的 AI 可能刺激更多使用。这是一种可能的需求反应,并不能证明每次效率提升都会增加总支出。
OpenAI 介绍了模型在遵循详细指令、技术和编程任务、创造力以及表情符号使用方面的改进。我提到更新模型正在向用户推出,而且在需求高涨之际,图像生成受到了限制。根据我的个人体验,普通 GPT-4o 查询也变慢了;这只是个人观察,并非受控的延迟比较。
Gemini 2.5 Pro 给我留下了深刻印象,尤其是它的编程表现和速度;我认为它是当时我亲自用过的最佳编程模型。该模型当时开始出现在 Windsurf 和 Cursor 等工具中。我想用自己的代码库测试它的 100 万 token 上下文窗口;仅凭窗口大,并不能证明模型能有效利用其中的每一部分。
DeepSeek 与 ARC-AGI-2
他讨论更新后的 V3 检查点及其报告表现,随后考察新的 ARC 基准及其早期人类与模型比较。
DeepSeek 也发布了 V3-0324 检查点。模型卡报告它比早期 V3 有改进,并列出 MIT 许可证;权重可以获取,但模型规模使本地运行要求很高。我重点介绍了它报告的编程和数学成绩,包括 AIME 2024,同时认识到开发者选择的基准与设置并不能全面衡量表现。


ARC Prize 推出了 ARC-AGI-2,作为一项更难的测试,考察系统适应新视觉模式的能力。视频展示的早期表格列出 o3 low 在 ARC-AGI-2 上得分为 4%,在 ARC-AGI-1 上为 75.7%;人工小组分别为 100% 和 98%。这些数字描述的是特定早期评估和小组,而非所有人或未来所有模型。
表格显示,o3 low 每项任务的估计成本为 200 美元,人工小组为 17 美元。我还在口述时将 o1 high 的成本误读为 445 美元;画面中的表格实际写的是 4.45 美元。我喜欢这个基准,因为它要求系统从示例中推断转换规律;但我称它为完美的 AGI 测试只是一种观点:单一基准无法确立通用智能。
一个例子使用彩色网格:解题者查看输入和输出的配对,推断规律,再将其应用到新输入。ARC Prize 报告称,每个 ARC-AGI-2 任务都至少有两人能在两次尝试内解决。这种任务筛选过程有助于理解人类对照结果,并不意味着每个人都觉得每道题很容易。
MCP 与图像模型
Berman 介绍 MCP 的早期集成,并回顾 Reve 和 Ideogram 发布的图像生成模型。视觉示例和排名反映的是特定时间的情况。
Zapier 宣布了 MCP 集成,可以将其连接的应用提供给 AI 智能体。OpenAI 的 Agents SDK 和 Microsoft 的 Copilot Studio 也记录了对 MCP 的支持。我认为,用通用协议将模型连接到工具和上下文是一项重要进展;具体集成、权限和可用工具取决于服务及其配置。

图像生成是那一周的另一个重要话题。我展示了 Reve Image 1.0 的示例,并提到它在 Artificial Analysis 用户投票排名中的位置。我还讨论了 Ideogram 3.0:该公司报告了较高的 Elo 评分,并提供混合、放大和风格等功能。这些是经过挑选的示例和特定时间的评估,并不能证明每张生成图像或其中的文字都准确。

OpenAI 财务与 QVQ-Max
他讨论了报道中的 OpenAI 收入预测和领导层变动。最后介绍 Qwen 的视觉推理公告及他遇到的访问限制。
CNBC 援引消息人士报道称,OpenAI 预计 2025 年收入达到 127 亿美元,约为前一年的三倍。这是预测,而非实际收入。我个人对 AI 工具的价值持乐观态度,也承认自己与这一话题有切身关系;我的团队和家人的经验只是个例,我认为普及实际用途很重要。
我还讨论了报道中的领导层变动:Sam Altman 将更多关注研究和产品,而 Brad Lightcap 将承担更大的运营职责。我提到当时报道的 SoftBank 投资计划和估值;拟议交易或估值不应与已经完成的融资或盈利能力混为一谈。

Qwen 宣布推出 QVQ-Max,将其介绍为能够分析图像和视频的视觉推理模型。团队展示了示例和基准成绩,包括一个比较两个场景的演示。我称它开放且可下载,但引用的 QVQ-Max 公告并不能证明这个特定模型的权重已经发布;此前的 QVQ-72B-Preview 是另一个模型。
我提到自己使用 Qwen 服务时遇到的访问限制,并希望更多服务提供商能让模型更容易使用。可用性、地区要求和权重能否下载,取决于具体产品和时间。这个演示提供了视觉推理的一个例子,并非对其全部能力的系统评估。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文