Gemini 2.5 Pro Experimental：编程演示与发布时的基准测试

2025 年 3 月，Matthew Berman 用一系列生成程序测试 Google 新发布的 Gemini 2.5 Pro Experimental。他称这是自己试过的最令人印象深刻的编程模型，但这些例子是非正式演示，并非受控、全面的比较。

第一个演示是尺寸可调的 3D 魔方。Berman 打乱一个 4×4 魔方，观看它恢复到复原外观，然后开始尝试 10×10 魔方。他说自己之前试用的模型难以做好这种可视化。视频没有检查求解算法，也没有证明它能解决任意未见过的魔方状态。

Berman 将这一实验版本描述为可在 Google AI Studio 使用的思考模型，并说他当时可以免费使用。他展示同期 LMArena 人类偏好排名，其中 Gemini 2.5 Pro 的显示分数高于 Grok 3 Preview。可用性、价格和排名都是历史快照，并非当前指南。

他解释，思考模型会在最终回答前生成中间工作，并认为这有利于编程、数学和逻辑。他接着查看 Google 公布的模型比较，涵盖 Humanity’s Last Exam、GPQA Diamond、AIME、LiveCodeBench 和 Aider Polyglot。结果取决于基准及测试配置；图表并未显示 Gemini 在每个类别都获胜。

2025 年 3 月的图表显示，Gemini 在不使用工具的 Humanity’s Last Exam 中得到 18.8%，在 AIME 2025 单次尝试中得到 86.7%；同一图表中，竞争模型在某些其他设置下的结果更高。Google 报告使用自定义智能体配置时，SWE-bench Verified 得分为 63.8%。这些是厂商报告的结果，不能直接保证真实软件的质量。

Berman 强调发布时公布的 100 万 token 上下文窗口，认为其中可以容纳大量代码。10×10 魔方动画完成后，他展示 AI Studio 界面：知识截止日期为 2025 年 1 月，并提供结构化输出、代码执行、函数调用和搜索等选项。

下一个提示要求使用 Three.js 在单个 HTML 文件中创建交互式乐高搭建工具，并指定积木形状、颜色、网格吸附、碰撞检测、控制和视觉反馈。Berman 展示了积木放置与堆叠、以红色标记的无效位置，以及相机和旋转控制。

他指出，积木凸点有时不会出现。在他的个人比较中，DeepSeek V3 版本出现奇怪的圆柱，也无法正确堆叠积木；他说 Gemini 版本是一次生成，没有后续提示。这些观察只针对展示的运行结果，不能确立不同模型或提示之间的普遍排名。

Berman 要求生成更复杂的 Python 和 Pygame 贪吃蛇游戏，包括逐渐消失的轨迹、粒子效果、道具、变化的蛇身外观、障碍和 AI 对手。生成的游戏显示了时间减速和加速等效果，随后他的蛇发生碰撞。他称这个示例由一次生成完成。

随后，一个简短提示生成了简单飞行模拟器。Berman 可以加速、转向并减速至接近停止；他注意到地形、阴影和雾效，但也称结果比较基础，若想增加细节需要更丰富的提示。

他将 temperature 设为 1，再生成另一个贪吃蛇游戏，得到带发光食物和轨迹的不同版本。他说还可以继续增加规则、障碍和道具。视频只展示了短暂的游戏过程，没有全面检查每项要求的功能是否都能工作。

对于类似 Reddit 的页面，Berman 要求模型在一个文件中重建网站，并启用 Google Search grounding。结果包含帖子、评论和社区控制，但更像旧版布局；他不确定模型是否真的使用了搜索。

一个 Three.js 环面结提示要求生成 WebGL 对象，并提供几何、材质、光照和动画控制。Berman 演示改变半径、管道粗细、网格分段以及 P、Q 缠绕值，还调整颜色并切换线框模式。

他继续操作光泽、透明度、自发光颜色、旋转速度和光照等控制项。演示说明生成的界面如何开放参数供用户实验；Berman 建议还可以通过提示增加更多功能。

蚂蚁农场提示要求透明的侧面视图，展示蚂蚁挖掘隧道和搬运食物。Berman 说，他经常先写一个简短想法，再让 ChatGPT 扩展为详细提示。他还说，自己最终要求生成 Python 版本。

第一个蚂蚁模拟看起来有趣，但缺少控制项。经过后续请求，第二个版本允许他调整蚂蚁数量、挖掘速度、食物产生速率、一天中的时间，以及沙子或凝胶基质。因此，尽管他总体上将许多演示称为一次生成，这个示例确实经过了增加功能的迭代。

Berman 要求制作带红细胞、白细胞和模拟病毒的血流可视化，并提供病毒类型和复制率控制。在二维版本中，他改变病毒数量、白细胞速度和检测范围、血流及模拟速度。这些是交互式编程演示的玩具规则，并非经过验证的生物模型。

随后他要求生成 3D 版本，并调整细胞数量、病毒设置、湍流和流速。动画根据预设规则展示病毒攻击红细胞、白细胞追逐病毒。这些画面不能证明模拟准确反映了真实感染的过程。

最后一个例子是制作人 Alex 创建的玩具手术模拟器。Berman 使用虚拟手术刀和缝合工具，界面显示精确度和稳定性分数。这是游戏演示，并非临床训练或医疗工具。

Berman 总结说，这些例子大多是一次生成，同时澄清自己有时会要求增加功能，并表示没有要求修复代码。他认为 Gemini 2.5 Pro 是当时自己试过的最强编程模型；这一结论反映的是他在 2025 年 3 月选用的提示和个人体验。