Gemini 1.5 的长上下文：2024 年测试说明了什么

在这段 2024 年 2 月 16 日的视频中，AI Explained 主讲人解读 Google 的 Gemini 1.5 技术报告；报告与 OpenAI 宣布 Sora 的时间相近。文中的比较和预测反映当时情况，而非当前模型格局。

核心主题是长上下文：报告测试了模型从很长的文本、音频和视频输入中检索信息的能力。主讲人强调文本实验达到一千万 token；这一研究结果不能等同于普遍可用产品的一千万 token 限额。

Google 的演示要求模型在阿波罗 11 号文字记录中查找信息，并将一幅草图匹配到其中的时刻。主讲人指出演示经过加速，处理时间可能变化。

报告描述了稀疏混合专家 Transformer，并将其训练计算量与 Gemini 1.0 Ultra 比较。主讲人对底层架构提出猜测；这一猜测不是已确认的实现细节。

大海捞针测试将事实放在长输入的不同位置。主讲人报告所测案例中的检索表现很强，并讨论与早期模型的比较，同时指出提示词和评估设置并非完全一致。

在较短上下文的基准测试上，他介绍了相较 Gemini 1.0 Pro 的提升，以及与 1.0 Ultra 和 GPT-4 相比有胜有负的结果。他认为这是当时最好的模型，是依赖所选测试的即时判断，而非普遍排名。

第二个演示在低帧率影片中找到细节和时间点，后面的编码演示则搜索并修改示例代码集。这些是选出的成功案例，不保证对所有输入都有同样表现。

主讲人讨论预测损失如何随上下文长度变化，并指出报告建议进一步研究某些代码数据上的异常结果。将这一趋势外推到测试范围之外仍属推测。

他强调，找回单个隐藏事实并不等于综合证据进行推理。插入多个事实时，检索并不完美，因此评估任务和失败率很重要。

视频讨论报告中涉及的安全、拒答，以及用很长的提示提取记忆训练数据的可能性。它还包含对未来定价和可用性的估计，录制时这些尚不确定。

最后，主讲人比较创意写作样本和 AI 文本检测器的输出。这些例子可以用来讨论检测器的局限，但检测器标签不能证明哪个模型写作更好，也不能证明文本是否由人写成。