测试 Gemini 1.5 Pro 的编程、推理、图像和视频能力

2024 年 8 月，我在 Google AI Studio 中测试 Gemini 1.5 Pro，包括文本、图像和一段长视频。Google 描述了更新后最高达 200 万 token 的上下文窗口，并公布了基准测试结果。这些数字是厂商针对特定评测提出的主张，不能保证适用于每个任务或输入。

界面提供标准版 Gemini 1.5 Pro 和实验版 0801 预览版。我从实验版开始，在结果不佳时在两者之间切换。这些设置和预览状态属于当时的测试，不一定适用于后续版本。

一个打印 1 到 100 的 Python 脚本看起来正确，模型还提供了解释。但在贪吃蛇任务中，两个版本都反复出现输出错误或输出受阻。后来一个完整回答使用了 curses 库，但我运行时代码报错；多次尝试后，我仍无法得到一个可运行的游戏。

接着我测试一个关于进入汽车的请求。模型拒绝直接请求，但在被问到历史方法时给出了不同的回答。我把这视为拒答测试，但单个提示词和回答不能确定模型的整体安全表现，也不能确定输出受阻的原因。

晾衬衫谜题中，实验版假设每批五件，回答 16 小时。为了与此前测试保持一致，我在视频中勉强给它通过；但如果 20 件衬衫都能在相同条件下同时晾晒，四小时才是自然的答案。标准版给出了这一答案，并指出阳光、湿度和气流的作用。

当被问到自己回答中有多少词时，标准版模型给出了错误数字，而实验版在这次尝试中答对了。我怀疑运气可能起了作用，也质疑这个提示词究竟能测试多少能力。一次试验不足以估计可靠性。

在房间里的杀人者谜题中，两个回答都忽略了进入房间并杀人的人也成为杀人者。实验版讨论了死者仍留在房间内。题目措辞让人们可能对死者是否算作杀人者产生分歧，因此预期答案取决于这种解释。

另一道谜题中，一颗弹珠放入杯子，杯子倒扣在桌上，然后移入微波炉。两个版本都说弹珠仍在杯中。我预计杯子被拿起后，弹珠会留在桌上，尽管题目没有明确说明确切的操作顺序和拿杯方式。

我要求生成十个以“apple”结尾的句子。按我的统计，实验版回答中十句有七句正确，标准版也有一些句子结尾不符合要求。两个版本都正确表示 9.9 大于 9.11 并给出解释；这些例子不能构成广泛的基准测试。

在一个关于轻推某人以拯救人类的伦理假设中，标准版模型讨论了不同论点，但反复拒绝直接给出是或否。实验版回答了是。我更喜欢明确回答并给出理由，但这是我对哲学情境的评分偏好，并非道德能力的客观测量。

在视觉测试中，我展示了一张对比初创公司员工与大公司主管的迷因。模型理解了这种夸张的比较，我将其判为通过。它还把表格截图转换为 CSV，我检查后觉得结果正确；视频不能证明它对其他图像也同样准确。

最后，我上传一段 30 分钟的博物馆视频，界面显示大约有 531,000 个 token，并询问内容。模型描述了一处古生物展览，并将其识别为 Carnegie Museum of Natural History，而可见的文件标签以“American Museum of Natura…”开头。演示没有解决这一不一致。

我询问第一只恐龙的名称。模型称它识别了视频后面出现的标牌，我觉得这种交叉参照令人印象深刻，但没有独立核实标牌或答案。我认为模型在视觉和长上下文方面表现不错，但在我惯常的文本测试中表现不佳；这是我根据少量非正式样本作出的判断，并不能证明它是最差的前沿模型。