Gemini 排名第一，但早期模型测试有什么局限？

2024 年 11 月，Google 的 Gemini Experimental 1114 出现在人类偏好排行榜首位。我想超越这个标题，看看排名衡量的是什么、早期测试能说明什么，以及模型扩展方式可能如何变化。

录制时 API 遇到了技术问题，因此我无法运行完整的 Simple Bench 评测。这是早期情况的记录，并非对 Google、OpenAI 和 Anthropic 当前模型的比较。

排行榜让人们在不知道模型身份的情况下，对两个回答投票。这些偏好包含有用信息，但也可能反映回答长度和表达风格，而不只是推理质量。

在我展示的截图中，Gemini Experimental 在显示的总体指标上排名第一，在控制风格的指标上排名第四。在我查看的数学和困难提示词分类中，o1-preview 领先。评测方式一变，呈现的结果也会变化。

我也觉得这次发布有些特别：早期 Gemini 发布时提供了更多常规评测材料，而这个实验模型的信息有限。关于 Google 内部计划和失望情绪的报道来自匿名消息人士，应将其视为报道，而非已经确认的决策。

Simple Bench 使用旨在暴露日常推理缺口的问题。由于 API 无法正常使用，我只能尝试十道公开示例，不能运行完整题集。我猜测了可能的总体得分，但那不是实测结果。

在我的非正式测试中，新 Gemini 通常答对十道公开题中的三道，偶尔答对四道；我报告 o1-preview 和 Claude 在这个样本中答对约四到五道。十道公开题和非正式运行不足以确定一般性的排名。

我还注意到界面中的 3.2 万 token 限制，并猜测可能存在算力约束。仅凭这个限制，无法确定模型规模、架构或 Google 选择该设置的原因。

视频接着讨论对话表现。两个令人担忧的例子来自另行提供的 Gemini 1.5 Pro，并不一定来自新实验模型；其中一个是对学生的敌意回答。这样的事件对可靠性很重要，尤其是在敏感对话中。

在另一个推理例子中，实验模型在回答过程中修正自己，但最终仍选择了错误选项。自我修正是值得关注的行为，但尝试修正并不证明最终答案正确。

当时的报道暗示几家领先实验室的下一轮模型进步可能没有那么显著。报道引用了公司内部消息人士，但这并不能完整反映内部研究，也不能证明进步已经停止。

Anthropic 首席执行官 Dario Amodei 将缩放规律称为经验上的规律，而非保证永远成立的自然法则。他倾向于认为这种模式会继续，但也承认不确定性。外推过去趋势时，这一区别很重要。

我的理解并不是语言模型已经碰到永久的墙。我预计进步会继续，但认为除了预训练，在推理时给予模型更多计算等方法可能越来越重要。这是一种判断，不是已经证明的必然结果。

Ilya Sutskever 对 Reuters 表示，扩大预训练的效果已进入平台期，找到正确的扩展对象更重要。讲解者将这一观点与寻找新技术的更广泛趋势联系起来，并没有声称了解他所在实验室工作的细节。

一些 OpenAI 研究人员对通往 AGI 的路径表示信心，同时也提到剩余工程工作与不确定性。这是他们当时的看法，并不证明 AGI 已经实现，也不能保证特定时间表。

Sam Altman 与 ARC 创建者 François Chollet 的公开交流，体现了暗示与经过独立验证的评测结果之间的差距。Chollet 表示愿意评估符合条件的方案；这段交流本身并未证明挑战已被解决。

视频在主体讨论的结尾谈到 AI 治理立场的变化，以及一位离职 OpenAI 员工对信任的担忧。共同主题是不确定性：排行榜分数、匿名报道和自信预测回答的是不同问题，也有不同局限。