Gemini 3 Pro：基准测试、视频理解与 Google 的智能体工具

摘要

30 秒看懂

Matthew Berman 考察 Gemini 3 Pro 的发布及随之预览的 Deep Think 基准测试，重点介绍所报告的推理和长期任务能力提升。他演示视频理解查询，并讨论 Google Search、Antigravity、Gemini Agent 和模型卡。视频反映的是 2025 年 11 月 18 日发布时的情况，并非当前排名或可用性。基准分数是在特定设置下报告的结果；单次演示和模拟任务不能证明普遍可靠性。

1发布时的基准测试结果Google 的表格报告，Gemini 3 Pro 在无工具的 Humanity’s Last Exam 上得分为 37.5%，在 ARC-AGI-2 上得分为 31.1%。这些是所述测试设置下的历史成绩。
2Deep Think 预览Google 报告了 Deep Think 模式更强的成绩，但该模式在更广泛发布前还需要进一步安全评估。
3视频演示Berman 让 Gemini 描述自己一段视频中的画面，并将回答与原视频比较。
4Search 中的生成式界面Google 演示了 AI 生成的交互界面；屏幕上的示例标注为模拟画面。
5售货机模拟Vending-Bench 2 图表取每个模型五次运行的平均值，展示模型在一种模拟环境中的表现。
6智能体辅助整理收件箱实验性 Gemini Agent 工作流提出邮件操作建议，并让用户逐项审核。

要点建议

Google 于 2025 年 11 月推出 Gemini 3 Pro 并预览 Deep Think，后者在视频发布时尚未普遍开放。
Google 的基准测试表报告了 Gemini 3 Pro 的优异成绩，但结果取决于任务、模型配置和工具使用条件。
Berman 演示向模型询问 YouTube 视频中的某个时刻；视频采样和一个成功示例不能证明它能完美理解每一帧。
Google 预览了 Search 中的生成式界面，以及名为 Antigravity 的智能体辅助编程平台。
Vending-Bench 2 衡量的是一段时间内的模拟售货机经营，而非成功经营真实企业。
Gemini Agent 演示提出整理邮件并让用户审核的流程，模型卡则描述了多模态输入和稀疏混合专家架构。

主题Gemini Benchmarks Multimodal AI 编程智能体 AI agents

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

Gemini 3 Pro 与所报告的基准测试

Berman 介绍 Google 于 2025 年 11 月推出的产品，并回顾推理、编程和模拟经济任务的分数。他还提及赞助商的一项文档评估。

Gemini 3 来了，模型本身和 Google 将它整合进各类产品的努力都让我印象深刻。这段视频发布于 2025 年 11 月 18 日，当时 Gemini 3 Pro 以预览版形式推出。我也讨论了 Gemini 3 Deep Think；Google 在发布时表示，该模式在更广泛开放前还要接受额外安全评估，而非当天就普遍可用。

幻灯片 1 / 8Google 的 Gemini 3 Pro 基准测试表发布时的表格比较了所报告的模型分数，并标明若干测试的工具设置。

Google 的发布表格报告，Gemini 3 Pro 在不使用工具的 Humanity’s Last Exam 上得分为 37.5%，使用搜索和代码执行时为 45.8%；展示的无工具比较中，Gemini 2.5 Pro 为 21.6%，GPT-5.1 为 26.5%。表格报告其 ARC-AGI-2 得分为 31.1%。这些是特定评估和配置下的结果，并非所有模型和任务的永久排名。

表格报告，在使用代码执行的 AIME 2025 中得分为 100%；展示的同一设置下，Claude Sonnet 4.5 也达到 100%。SWE-bench Verified 图表列出 Gemini 3 Pro 为 76.2%，Claude Sonnet 4.5 为 77.2%，GPT-5.1 为 76.3%。在 Vending-Bench 2 中，Gemini 3 Pro 的模拟净资产为 5,478.16 美元，超过图表中的其他模型。

视频包含 Box 的赞助内容，介绍其自身的文档推理评估。Box 报告总体成绩从 Gemini 2.5 Pro 的 63% 提升到 Gemini 3 Pro 的 85%，部分行业子集的提升更大。公司描述的多文档提取和推理任务类似企业工作流；这些赞助商报告的结果仅适用于该评估，不能普遍保证企业场景表现。

Deep Think 与多模态输入

他讨论 Google 报告的 Deep Think 成绩及其泛化能力基准测试，随后演示对 YouTube 视频提问。

Google 还展示了 Gemini 3 Deep Think 这种更审慎推理模式的基准结果。图表报告其在不使用工具的 Humanity’s Last Exam 上得分 41%，Gemini 3 Pro 为 37.5%；Deep Think 在 GPQA Diamond 上得分 93.8%。Google 后来于 2025 年 12 月向 Ultra 订阅用户开放 Deep Think；不应将这一后续开放与视频发布当天的可用性混淆。

幻灯片 2 / 8Deep Think 基准测试比较Google 的图表区分了所报告的 ARC-AGI-2 成绩中不同的工具设置。

ARC-AGI-2 提供视觉变换谜题：示例展示输入与输出，模型必须推断规则并应用于另一个案例。我认为这是衡量学习与泛化能力的重要测试。Google 图表报告，Deep Think 使用工具时得分为 45.1%，Pro 得分为 31.1%；工具设置不同会影响比较，而且仅凭这项基准的成绩不能确定模型具备通用智能。

Gemini 3 接受文本、图像、视频、音频和代码，上下文窗口最多支持 100 万个输入 token。我尤其重视视频理解，因为我用它帮助制作章节标记。我将模型描述为逐帧观看视频，但这不应理解为它检查了原视频的每一帧：Google 的视频文档描述的是抽取视频帧，具体设置因接口而异。

为了演示，我把之前一段视频的 YouTube 链接粘贴到 AI Studio，而不必下载再上传文件。界面显示约 11.1 万个 token。我让模型描述第 3 分钟的画面；它识别出分屏、我的蓝色衬衫和一段报告摘录，我再将其与视频对照。这是一个说明性查询，并非系统性的准确度测试。

幻灯片 3 / 8视频理解回答所展示的回答描述了 Berman 较早视频中的一个画面；这只是一个示例。

搜索界面与 Antigravity

Google 展示 Search 中的生成式界面并介绍智能体编程环境。Berman 预计定制界面会得到更广泛的应用。

Google 还在 Search 的 AI Mode 中引入 Gemini 3。我展示的例子中，用户提供一篇论文，系统呈现生成式界面，供人探索 RNA 聚合酶这一主题。演示标注屏幕画面为模拟，过程经过缩短。我预测动态生成的搜索页面可能会变得普遍得多，但这是我的预测，并非已宣布的保证。

幻灯片 4 / 8生成式 Search 界面示例Google 演示了交互式 RNA 聚合酶界面，并将屏幕画面标注为模拟。

Google Antigravity 是一款智能体开发平台，带有类似 VS Code 的熟悉编辑器，与 Cursor、Windsurf 等工具竞争。视频中的模型选择器列出了 Gemini 3 Pro、Claude Sonnet 4.5 和 GPT-OSS 120B。我计划在后续视频中测试 Gemini 3 Pro High；不能根据列出的选项推断它支持所有模型。

幻灯片 5 / 8Antigravity 模型选择器菜单显示演示中可见的 Gemini、Claude 和 GPT-OSS 选项。

长期任务与 Gemini Agent

Berman 再次讨论售货机模拟以及实验性的收件箱整理工作流，并区分产品演示和他自己有限的使用体验。

Vending-Bench 2 要求模型管理模拟售货机经营：选择库存、应对需求并决定何时补货。目标是考察模型在较长时间跨度内能否持续作出连贯决策。这是一项有用的经济模拟，但基准得分不能证明模型曾独立经营真实企业。

幻灯片 6 / 8Vending-Bench 2 模拟表现图表展示了每个模型经过五次模拟运行后的平均资金余额。

图表展示了每个模型在约一年的模拟时间里运行五次的平均结果。Gemini 3 Pro 的曲线升至 5,000 美元以上，Claude Sonnet 4.5 随后，而 GPT-5.1 和 Gemini 2.5 Pro 的最终余额较低。我认为持续上升的走势值得关注，同时也认识到结果受模拟环境和测试条件限制。

Google 还更新了 Gemini Agent，这是一项旨在完成多步骤任务的实验性功能。它的收件箱示例检索未读 Gmail 邮件、制定计划，并在生成的界面中呈现建议操作。用户可以逐项审核建议或批量接受，助手还可以根据邮件会话起草回复。

幻灯片 7 / 8Gemini Agent 收件箱计划演示列出了检索邮件和准备操作的拟议步骤。

在我看来，这项智能体演示很有前景，但我还没有花太多时间使用这个功能。展示工作流和计划未来测试，与证明智能体能可靠整理每个收件箱或在没有适当权限的情况下执行操作，是不同的事情。

模型卡与硬件

模型卡介绍了 Gemini 3 Pro 的输入、架构和硬件。Berman 认为 Google 的定制 TPU 是一项竞争优势。

幻灯片 8 / 8Gemini 3 Pro 模型信息模型卡列出了输入模态、上下文和输出限制，以及稀疏混合专家架构。

最后，Google 的模型卡表示 Gemini 3 Pro 并非对先前模型的修改或微调。模型卡描述了文本、图像、音频和视频输入，最多 100 万个输入 token，以及 64,000 个 token 的文本输出。该模型使用稀疏混合专家架构，并使用 Google TPU 进行训练和推理。我认为 Google 的定制硬件是一项重要优势。