2024 年 5 月的 AI 模型传闻、数学基准与 Med-Gemini 研究

2024 年 5 月，我讨论有关 OpenAI 即将推出新模型的报道、一个短暂开放测试的神秘聊天机器人，以及两篇关于数学基准与医疗 AI 的论文。模型发布部分记录的是当时的传闻和预测，并非当前预测。

Politico 报道称，一些前沿 AI 公司在布莱切利峰会作出承诺后，尚未向英国政府提供用于安全测试的早期访问。报道还引用匿名消息人士称 OpenAI 即将发布新产品。我由此推测新模型临近，但根据匿名报道作出的推断并非已确认的发布时间表。

我预测 GPT-5 之前会先出现一个迭代模型，并引用 Sam Altman 关于知道发布日期和逐步部署的言论。我也猜测了 GPT-5 的时间。这些都是我在 2024 年 5 月的预测，并非证据已经确立的事实。

一个名为 gpt2-chatbot 的神秘模型曾短暂出现在模型比较网站。一些惊艳的例子开始传播，但我只测试了八道自编题，发现其表现与 GPT-4 Turbo 大致相近。这个小样本测试无法确定模型身份，也无法建立可靠排名。

其他公开测试在翻译和逻辑方面得到不同结果。当时我考虑了多种解释，包括它可能是更小的模型。视频说明后来补充称，该聊天机器人由微软 Phi 团队制作；这一更新应与录制时的不确定性区分开。

我讨论了一位 OpenAI 研究者关于数据强烈影响模型行为的观点，同时也提到算力和评估的重要性。我更广泛的问题是：领先性能有多少取决于数据、规模和投入，而非某个秘密的架构要素。

一段 Mark Zuckerberg 的访谈讨论了 GPU 供应，以及能源可能在企业资本耗尽之前成为约束。这是行业预测，并非每个 AI 项目都已面临的确定上限。

Scale AI 的一篇论文重新审视 GSM8K 数学基准，构建了 1,000 道难度相近的新题。目的是研究模型接触过既有基准题目是否会使分数高估泛化能力。

我介绍的比较显示，一些模型系列在新题上的表现下降，而 GPT-4 和 Claude 的表现相近或更好。作者还考虑了泛化能力的差异：仅用是否接触过题目无法解释所有结果。

基准质量同样重要。我提到现有题目中的错误，以及在类似考试的材料上训练可能提高基准分数，却未必同样改善日常任务表现。即使题目并非完全重复，形式上的相似性也可能产生影响。

论文的新题也显示，一个小型 Phi 模型在这一特定测试中能与大得多的系统竞争。我认为这说明高质量训练数据有价值，同时也指出单一基准不能决定对模型总体能力的比较。

我追问：为什么在研究生水平评估中得分不错的先进模型，仍会做错一些基础算术应用题？可能的解释包括测试本身有缺陷以及泛化能力存在限制；视频提出问题，但没有解决它。

第二篇论文介绍 Google 的 Med-Gemini 研究模型。我介绍了其颇有希望的医学基准结果，但基准表现不等于临床验证、安全部署，也不能证明模型能够取代临床医生。

一种方法利用模型的置信程度决定何时生成搜索查询，并将检索到的信息加入上下文。作者还探索将生成的正确答案用于微调循环。最终答案正确，并不保证背后的推理可靠。

长上下文使研究人员能够对非常大的电子健康记录进行实验。论文还报告了医学问答测试结果，并发现部分基准题目存在质量问题。我还提到摘要和转诊信是其他研究方向。

我比较了作者报告的模型与临床医生在特定题目上的结果，并提到他们计划纳入其他数据。这类比较取决于任务、数据集和实验设置，不能推广成系统在日常医疗中优于医生的结论。

论文还探索多模态辅助，包括理解图像和回答关于手术视频的问题。我强调作者当时没有将其部署到实时手术中，原因包括安全和伦理顾虑。演示不能证明实时使用是安全的。

作者提出一些可能的改进，包括把检索范围限制在权威医学来源。我最后提出：未来如果系统经过临床验证，它们可能如何辅助临床医生？这是一个依赖未来证据和部署决策的假设性问题。