Google 发布 Gemini：多模态演示、基准测试与科研应用

Google 宣布了 Gemini，我想对照 2023 年 12 月可用的模型，考察它的研究报告和演示。Google 将 Gemini 描述为原生多模态模型，经过训练可处理不同类型的信息。其基准声明是在特定设置下进行的历史比较，不能证明它在每项任务上都胜过 GPT-4。

我首先观看一段宣传片：一个人画了一只鸟，语音将其识别为鸭子。我将这种交互描述为实时，但这一印象需要纠正：Google 对片段制作过程的说明显示，模型接收的是选定的静态图像和文字提示，回答与时间经过剪辑。这段画面不能证明模型持续处理实时视频和语音。

演示者将画中的鸭子涂成蓝色，然后拿出一只蓝色玩具鸭，屏幕上的回答对这一巧合作了个玩笑。我喜欢这种看似有个性的表现，并讨论玩具是否会浮起来。仅凭会发出吱吱声不能证明物体会浮起；这只是经过挑选的宣传交互，并非对每种玩具的物理测试。

片段还展示了根据国家线索猜地图位置的游戏，随后是一场追踪杯子下纸团的游戏。我将其理解为没有指令的自发理解，但制作细节很重要：演示使用了选定的视觉输入和文字提示。它不能证明模型从连续视频流中独立推断出了所有规则。

Google 最初的 Gemini 报告介绍了 Ultra、Pro 和 Nano，三种规模面向从复杂推理到内存受限设备的不同需求。Google 报告称，在选定的 32 项基准中有 30 项取得领先成绩。这些是公司相对于报告中基线和测试设置给出的评估，并非对所有任务或当前模型版本的保证。

报告描述了在文本、图像、音频和视频上进行联合训练。我将 Ultra 理解为最大级别，Pro 理解为更易部署的中间级别，Nano 理解为面向设备端的级别。我认为普通用户可以直接在本地运行 Pro，只是推测；公告并未提供公开可下载的 Pro 权重，也没有承诺这种配置。

报告中的一个示例要求 Gemini 阅读关于滑雪者的手写物理题，检查学生的计算，并用数学符号解释结果。展示的回答指出了错误并给出修正计算。我认为图像读取、推理和格式化的结合很有吸引力，但一个精选示例不能证明模型能可靠处理所有手写作业。

报告还介绍了 AlphaCode 2，这是一个将专门的 Gemini 模型与搜索和工具结合的竞赛编程系统。Google 报告称，在其 Codeforces 评估中该系统位列参赛者前 15%，前代约处于前 50%。这一结果涉及完整系统及其评估条件，并不是说裸模型或每项编程任务都能达到这个排名。

Gemini Nano 面向设备端应用，如摘要和文本补全。报告称 Nano-1 和 Nano-2 分别约有 18 亿和 32.5 亿参数，并以四位量化方式部署。支持的功能在设备上运行时可以避免网络调用，但设备兼容性以及某项功能是否离线可用取决于具体产品。

报告描述了在 Google TPU 基础设施上提供服务的 Transformer 模型，以及 32,768 token 的训练序列长度。Ultra 面向更复杂的工作，Pro 则在能力、成本和延迟之间寻求平衡。这些是 Google 对设计的描述；模型访问和硬件要求因产品而异，并非承诺所有级别都可在本地使用。

Google 表示 Gemini 可以处理与视觉或音频输入交错的文本，并在研究环境中描述了文本和图像输出。它解释说，视频理解是通过将帧编码进上下文窗口实现的。研究能力、宣传示例和特定面向用户产品中可用的功能是不同的问题。

关于训练数据，报告提到网页文档、书籍、代码、图像、音频和视频，以及质量和安全过滤。我推测 Google 可能受益于 Search、Gmail 和 YouTube 等服务，但报告中宽泛的数据类别不能证明使用了私人 Gmail 内容。我讨论的摘录没有指明确切来源和授权情况。

报告提出一个问题：联合多模态训练能否在各领域表现良好，甚至与专门处理某类任务的模型相比也不逊色。Google 报告称，Gemini Pro 与当时可用模型具有竞争力，而 Ultra 在许多选定测试中领先。比较这些结果时，模型版本、提示方式、评估设计和成本都很重要。

在 MMLU 上，Google 报告 Gemini Ultra 使用特定思维链和多样本方法取得 90.04%，相比之下，基准作者给出的人类专家参考值为 89.8%。我将这个结果推广到每个专家和每个领域，但证据并不支持：多项选择基准和一个参考分数不能证明它在所有领域都具有更强的现实专业能力。

Google 将 MMLU 结果归因于使用多个推理样本和置信度阈值的提示方法。报告还给出：在所述提示条件下，模型使用思维链和自一致性在 GSM8K 上达到 94.4%，在 MATH 基准上达到 53.2%。只有理解方法和计算预算后，这些比较才有意义。

我查看 Google 的文本和推理基准表，注意到 GPT-4 在 HellaSwag 上得分更高，而 Gemini Ultra 在展示的许多其他项目中领先。有些项目使用不同的提示方法。这张表只是对 2023 年选定评估的快照，而非对任一模型的普遍或永久判决。

报告还讨论基准污染：评估题目可能出现在训练材料中，使人更难将模型分数解释为泛化能力。Google 表示它进行了泄漏分析，并在发现问题时省略了一些结果。这类检查可以减少一项不确定来源，但不能证明每个基准都没有污染。

我尤其关注 Nano，因为在设备上运行的模型可以支持本地、甚至可能离线的体验。报告描述了摘要、理解、事实检索、推理和多语言任务的结果，其中常常使用针对任务的微调。我更希望权重和训练数据开放发布，但那是我的偏好，而非 Google 承诺的功能。

报告包含翻译结果和一项长上下文测试。Google 表示初代 Gemini 模型使用 32,768 token 的序列长度训练；在一项合成任务中，Ultra 跨越大量填充文本检索与键配对的值，准确率为 98%。这一结果仅适用于测试的检索设置，不能证明它对每篇长文档或复杂推理任务都有同样准确率。

我再次谈到 AlphaCode 2，以及将专门的 Gemini Pro 与搜索和工具结合来处理多步骤编程问题的想法。作为编程时使用 AI 的人，我欢迎又一位潜在助手。竞赛编程结果本身不能确定它在日常代码库或生产软件中的表现。

Google 报告比较了图像理解基准，并展示了跨学科的 MMMU 问题。我认为这些结果对 Google 的发布令人鼓舞，但所报告的比较受所评估模型、提示和任务的限制。它们不能表明 Gemini 在每个视觉问题上都更好。

一个图示示例要求模型识别四个绘制的函数，并编写 Matplotlib 代码重新排列位置。展示的输出识别出正弦波、正切函数、指数函数和三维抛物面，并生成代码完成要求的排列。该例结合了图像解释、指令遵循和编程，但它是经过挑选的演示。

其他示例根据彩色毛线提出手工创意，并根据图片逐步提供蔬菜煎蛋卷的烹饪建议。我设想个人助手可以通过手机或可穿戴设备利用这样的视觉上下文。这是我对可能产品的设想，并非设备持续观察用户或这些示例在每个厨房都可靠的证据。

一段 Google 研究视频介绍如何更新一个源自 2022 年综述的遗传学文献数据集。研究者表示，自 2021 年以来相关领域新增了超过 20 万篇开放获取论文，并演示如何提示 Gemini 识别候选论文、提取字段并添加注释。这描述的是针对一个科研问题的工作流，而非对科学综述的普遍替代。

在演示中，Google 表示它在一个午休时间大规模运行筛选，将文献缩小至约 250 篇，并从选定结果中提取信息。我将其描述为模型在一小时内完整阅读并排序了每篇论文，但展示的筛选提示包含标题和摘要，片段不能证明它阅读全文了全部 20 万篇论文，也不能证明召回率和提取准确率经过独立验证。

另一个宣传示例展示 Gemini 识别学生数学解答中的错误并解释高度计算。我将其与更广泛的数学推理进步猜测联系起来，包括 Q*；视频并未确定 Q* 是什么，也没有建立它与 Gemini 的关系。经过挑选的辅导示例应结合原题和答案检查。

最后，一段 Google 演示要求 Gemini 将树木图像转成 SVG，再生成带滑块的交互式 JavaScript 分形树。我对图像与代码之间的转换印象深刻，也期待亲自测试这些模型。视频发布时，Bard 正开始接入 Gemini；产品可用性和能力应放在 2023 年的背景中理解。