Gemini 3 Flash：速度、编程测试与小型模型的成本

摘要

30 秒看懂

2025 年 12 月，Matthew Berman 通过并排编程演示、Google 基准表和外部报告评测 Gemini 3 Flash。他对其表现出的速度与成本优势印象深刻，认为这一模型可能对 Google 产品具有重要经济意义。编程示例和排名只是当时的快照，不能代表普遍比较；Google 自己的表格显示，不同编程基准的领先者也不同。视频由 HubSpot 赞助，该公司与 Berman 合作编写了介绍其公司自动化流程的指南。

1三个可视化演示在展示的比较中，Flash 更快完成鸟群、地形和天气应用示例；质量由 Berman 主观评价。
2发布价格Google 列出的 Flash 输入和输出价格分别为每百万 token 0.50 美元和 3 美元；消费者免费访问与付费 API 使用不同。
3编程基准背景在 Google 的 SWE-bench Verified 比较中，Flash 得分 78.0%，Pro 为 76.2%；Pro 在 Terminal-Bench 2.0 上得分更高。
4HubSpot 赞助Berman 表示 HubSpot 赞助了视频，并合作编写了一份介绍 Forward Future 的 AI 自动化流程的指南。
5ARC 结果高思考模式预览版在 ARC-AGI-1 和 ARC-AGI-2 上分别获得 84.7% 和 33.6%，同时报告了每题成本。

要点建议

Berman 在两个可视化编程演示中更喜欢 Flash，在第三个演示中认为两者质量相近；这些例子不能证明它整体更强。
Google 报告 Flash 和 Pro 在 SWE-bench Verified 上分别得到 78.0% 和 76.2%，但同一张表中 Pro 在 Terminal-Bench 2.0 上领先。
发布时 Google 列出的 Flash 文本输入价格为每百万 token 0.50 美元，输出价格为每百万 token 3 美元；价格和访问方式可能变化。
视频的 HubSpot 赞助与 Google 报道无关；Berman 表示 Google 没有向他付费。
ARC Prize 在特定测试条件下测得高思考模式在 ARC-AGI-1 上为 84.7%，在 ARC-AGI-2 上为 33.6%。

主题Benchmarks 模型与训练 AI cost & performance 编程智能体

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

可视化编程比较

Berman 查看 Flash 与 Pro 的鸟群、地形和天气应用示例。他更喜欢 Flash 的速度以及其中两个展示结果的设计。

Google 刚发布 Gemini 3 Flash，我认为它兼具速度、成本和质量，是一个强有力的竞争者。我也说过它在编程上胜过 Gemini 3 Pro，但这需要限定：Google 的发布比较显示 Flash 在 SWE-bench Verified 上领先，并非在所有编程任务或基准上都领先。这里的印象和结果来自 2025 年 12 月。

首先，我展示了鸟群模拟的并排比较。这个例子中 Flash 用约 21 秒、约 3,000 个 token 完成，Pro 用约 28 秒。我更喜欢 Flash 的结果。这是基于主观判断的可视化演示，并非对编程质量的受控研究。

在 3D 地形场景中，Flash 用约 16 秒和约 2,600 个 token 完成；Pro 花了约三倍时间，使用约 4,300 个 token。我认为两个场景都不错，视觉细节各有不同。这是表面质量相近但时间和 token 用量不同的一个例子，不能证明所有任务都会如此。

幻灯片 1 / 43D 地形比较可视化演示比较 Flash 和 Pro 的输出及画面显示的生成时间。

幻灯片 2 / 4模拟天气应用比较两个生成的设计展示了 Berman 的主观偏好和报告的时间差异。

第三个例子是模拟天气应用：Flash 用约 25 秒和 4,500 个 token，Pro 用约 68 秒和 6,100 个 token。我更喜欢 Flash 的动画设计，而不是 Pro 较简单的版本。这些单个例子展示了外观和耗时，不能证明其稳健性或已可用于生产环境。

基准测试、价格与赞助

他查看发布价格和基准结果，包括 SWE-bench Verified。HubSpot 赞助环节介绍了其公司自动化流程的指南。

发布时的价格表列出 Flash 每百万文本输入 token 为 0.50 美元，Pro 在所述档位为 2 美元。Google 还列出 Flash 输出每百万 token 为 3 美元，Pro 为 12 美元。这些是 2025 年 12 月的 API 价格；输出量、上下文长度和其他费用都会影响实际成本，价格也可能变化。

在 Google 发布的表格中，Flash 在不使用工具的 Humanity’s Last Exam 上得分 33.7%，使用搜索和代码执行时为 43.5%；表中 GPT-5.2 的结果分别为 34.5% 和 45.5%。Flash 在 GPQA Diamond 上为 90.4%，在 MMMU-Pro 上为 81.2%。这些数字对应报告中的版本和设置，不同测试的表现不能互换。

幻灯片 3 / 4Google 编程基准表表中展示 SWE-bench Verified 和 Terminal-Bench 2.0 的结果，两项测试的相对排名不同。

引起我注意的编程结果是 SWE-bench Verified：Google 报告 Flash 为 78.0%，Pro 为 76.2%，GPT-5.2 为 80.0%，采用单次尝试设置。这是特定基准上的优势，并不能一概认定 Flash 更擅长所有编程任务：Google 同一张表中，Terminal-Bench 2.0 的 Pro 为 54.2%，Flash 为 47.6%。

我查看了一张比较 LMArena Elo 与价格的图，看到 Flash 的分数接近 Pro，但价格更低。该图的横轴方向反转，因此越靠右代表越便宜。Arena 偏好和选定的 token 用量组合，只是比较质量与成本的一种方式。

HubSpot 赞助了这段视频。Berman 表示，他与 HubSpot 合作推出了一份免费指南，介绍其公司 Forward Future 使用的九项自动化流程，包括研究和内容工作流程。

产品分发、效率与外部测试

Berman 讨论 Google 的产品推广和战略地位，随后引用 token 效率、外部排名和 ARC Prize 结果。

Flash 支持文本、图像、音频和视频等多模态输入。发布时 Google 表示，它正在成为 Gemini 应用和 Search 的 AI Mode 默认模型，并提供免费的消费者体验。这不意味着所有 API 使用或每个产品档位都免费，而且当前可用情况可能不同。

我认为 Google 结合模型质量、产品分发和自研硬件，在竞争中处于有利位置。我也讨论了它在智能体编程方面的潜力，并将其与编程公司开发的小型模型相比。我关于 Google 可能占据主导地位的说法是预测；与其他公司内部模型的比较取决于任务和访问条件。

我展示了 Google 的一张图，在该比较中 Flash 的平均 token 用量低于其他 Gemini 模型；我还引用 Browserbase 的报告，称其 Stagehand 智能体以更低成本和延迟接近 Pro 的准确率。这些是特定流量或工作流程下的报告结果，不能保证 Flash 总是使用更少 token 或达到 Pro 的水平。

我还引用了当时 Artificial Analysis 和 LMArena 的排名，Flash 接近领先模型。排名取决于基准、模型版本和日期；2025 年 12 月的榜单位置不代表当前排名。

幻灯片 4 / 4ARC Prize 的 Gemini 3 Flash 结果帖子分别列出高思考模式预览版在 ARC-AGI-1 和 ARC-AGI-2 上的分数及每题成本。

ARC Prize 报告称，高推理模式下的 Gemini 3 Flash Preview 在 ARC-AGI-1 上达到 84.7%，每题约 0.17 美元；在 ARC-AGI-2 上达到 33.6%，每题约 0.23 美元。我也提到 Box 与 Gemini 2.5 Flash 的比较。这些结果都有参考价值，但各自只涵盖其特定任务和设置。

我的结论是，快速响应加上较高质量使 Flash 很有吸引力，尤其符合我对速度的偏好。我表示 Google 没有为这一观点付费；视频另行披露的赞助商是 HubSpot。