两年半，从 33.3% 到 86.5%：谷歌把基础模型送进了医学院

Nathan Labenz 以一条仍然让人难以置信的时间线开场，这是《The Cognitive Revolution》医学系列的最新一期。两年半之前，语言模型在医师执照考试的题目上也只是比瞎猜稍好一点。到 2023 年 5 月，谷歌开始把自己称为专家级的系统推向商用。Labenz 之后还会回到论文中的那张图，它把这段攀升讲得很具体：2020 年 12 月，GPT-Neo 得分 33.3%；Med-PaLM 2 在同类 USMLE 式题目上达到 86.5%，进入人类应试者的前四分之一。

更令人震惊的数字并不是考试成绩。谷歌现在表示，在九个评测维度中，Med-PaLM 2 有八个维度的回答优于人类临床医生，第九个维度则打成平手。Labenz 之后会把这一差距放到他常用的参照系里比较：OpenAI 的技术报告显示，GPT-4 对 GPT-3.5 的偏好比例只有约 70 比 30，而 GPT-4 对 Claude v1.3 则更接近 60 比 40。这么悬殊的偏好比例，并不是这个领域常见的结果。

嘉宾是 Vivek Natarajan，谷歌研究科学家，也是 Med-PaLM 和 Med-PaLM 2 两篇论文的主要作者之一。Labenz 想听两年间的历程、数据高效的技术，尤其是验证工作；他把验证工作视为任何在高风险场景中做 AI 的人都应借鉴的经验。对于在印度农村长大的 Natarajan 来说，重点不仅在于造出这些系统，还在于把它们部署出去，让医学专业知识不再那么大程度上取决于地理位置的运气。

Natarajan 把今天的起点追溯到 2017 年和 Transformer：一种通用架构，针对 GPU 做过优化，能够大规模消化数据。他说，此后六年，架构本身几乎没有变化，工作重点一直是数据、规模、算力和应用。在一个通常每个季度都在更新换代的领域里，这种停滞，正是他对原始论文以及 Ashish Vaswani 等作者的致敬。

第二次突破是 OpenAI 的 GPT-3：基于互联网规模文本训练的仅解码器 Transformer，采用下一个 token 预测，并实现了真正有效的少样本学习（few-shot learning）。拥有 5400 亿参数的 PaLM 沿用了相似的路线，但细节不同。第三次突破是对齐，以及人类反馈强化学习。Natarajan 提醒 Labenz 想起微软的 Tay：那个推特聊天机器人，一两天就失控了。如今 GPT-4 级别的模型，大多能产生他所说的“惊喜感”，因为人类反馈可以引导输出的内容。

Labenz 一直想问关于 5400 亿参数的事。从外部看，谷歌好像是看到了 GPT-3 的 1750 亿参数，于是决定做得更大；与此同时，DeepMind 的 Chinchilla 研究却主张减少参数、增加数据，两项工作几乎同时出炉。Natarajan 两项研究都没有参与；他个人的理解是，两者都是有用的数据点，正在塑造下一代模型。Labenz 还提到 PaLM 论文中一句不起眼的话，大约在第 44 页：PaLM 在 BIG-bench 上的表现超过了人类平均水平。当时几乎没有人注意到。

在谷歌内部，一个成型的基础模型并不是整洁的 API。软件和硬件一直在变；三个月之后，往往就有了更好的底层平台，团队得决定是否把已经完成的工作迁移过去。Natarajan 说，有时他会惊讶于基础设施居然能运转。谷歌有传奇般的工程师，但整个系统有时看起来像是东拼西凑的，仿佛随时可能崩溃。内部的优势在于能直接接触原始模型，而不是只能调用 API，这在需要专门化的医学领域很重要。

Flan-PaLM 是经过指令微调的 PaLM，基于示例训练，没有使用人类反馈强化学习，并在 USMLE 式题目上达到了当时的最先进水平。这种考试是想在美国以医生身份执业的人必须参加的：题目是带有症状和元数据的病例描述，然后考查知识检索、推理，并且常常要在多项选择中用排除法作答。及格线通常在 60% 左右；专家应试者的得分大约在 85%。Natarajan 现在认为，对于今天的模型来说，这种考试可能已经是太简单的衡量标准，这个领域需要新的标尺。

团队一直小心地不说模型“通过了 USMLE”。他们评测的是一组有代表性的 USMLE 式题目，而不是医师委员会出的正式考卷。他们关心的是真实临床场景中的实用性，而不是一枚公关徽章。Natarajan 个人的看法是，这场考试有助于证明系统能达到某个标准，也有助于吸引媒体关注，但它并不能很好地说明模型在医学上的真实效用。

一旦离开基准测试，这种差距就暴露出来了。Flan-PaLM 在 USMLE 式题目上表现出色；但在面向消费者的医疗问题上，无论是医生还是后来的非专业人士打分，它在事实性、偏见、推理、知识回忆和有用性上都有所下滑。Natarajan 的教训是，Labenz 很想把它贴在墙上：用途明确的窄系统容易评测，通用系统则极难评测。你必须深入到实际使用场景里去。Med-PaLM 2 之后则以相反的方向呈现了同样的规律：通用的 PaLM 2 已经很强，而经过医学专门化的模型还要强得多，其中在区分正确与错误的医学推理证据上，提升接近 9 倍。

Labenz 特别挑出 Med-PaLM 第一篇论文中的一张图：临床医生、Flan-PaLM 和 Med-PaLM 被并排打分，分别考察答对的方式，比如回忆与理解问题，以及答错的方式，比如回忆有误或遗漏信息。各柱条加起来超过 100%，因为同一个回答可以同时属于多种情况。医生也是如此。他感谢 Shekoofeh Azizi 绘制了插图，感谢 Alan Karthikesalingam 制定了评测细则。在高风险领域，把失败模式划分得如此细致，本身就是一种立场，而非装饰。

Med-PaLM 的一个基本假设是：Flan-PaLM 在互联网规模的数据上训练，权重里已经有了医学知识。工作就是把正确的知识引导出来，教它更好的推理，并且另外教它临床医生说话的方式。医生很少会说你 100% 患了某种病，或者 100% 没有。他们会保留不确定性，并建议进一步检查。一个学生即便背下了每一本教科书，如果不会应用，照样派不上用场。知识和态度是两个不同的问题。

方法是指令式提示调优，也就是“软提示”。团队冻结了 Flan-PaLM，然后训练一个约 100 万参数的前缀；这些参数并不对应真实的词语，却能约束并锚定之后的每一个 token。Natarajan 的比喻是：模型的知识是一座巨大的图书馆，软提示则是把聚光灯打在医学书架上，同时教会它语气。数据小得惊人：只有几百条专家撰写的示范，几个小时就训练完成，因此迭代非常快。他补充说，这种数据效率本身也是规模带来的涌现属性。小模型存储的知识不够，提示调优帮不上忙；大模型则只需要指引。

Labenz 想用大白话听懂其中的线性代数。大模型保持冻结。学到的是一个与语言处于同一嵌入空间的前缀，位于一个你无法直接输入的区域。软 token 是抽象的条件设定，相当于一种关于如何作答的总体思路；针对具体问题的明确指令则是一种约束。两者共同产生回复。Natarajan 希望知道这些向量会不会以人类能理解的方式聚类，但他们还没有时间去看。多个前缀组成的“课程”，比如床边礼仪与临床细节的对比，他们在 Med-PaLM 2 上以另一种形式做了探索，作为事实性、安全性和风格的调节旋钮，因为不同用户会想要不同的输出。

在专家打分之后，团队又回到了普通人身上。语言模型是平台型技术，用户范围非常广：医生、管理人员、生命科学研究者，以及本来就会在网上搜索医疗信息的非专业人士。Natarajan 的个人切身感受更为强烈。他在印度的一些地区长大，那里看医生意味着要顶着酷暑步行 30 英里（约 48 公里）、放弃一天的工钱，或者挨饿。对许多人而言，这根本不是一个选项。他们一辈子都没见过医生，小毛病一拖再拖，层层累积，最终拉低了预期寿命。

他 2013 年的本科论文做的是一款名为 Ask the Doctor 的应用，随时随地都能用，用的是深度学习之前的方法，没能成功。他说，如今把一位世界级全科医生装进数百万人的口袋，已经是可以认真考虑的事。这正是非专业人士评测背后的潜台词。团队还发现，你懂得越多，就越能从这些系统中获益；你懂得越少，它们对你的伤害可能就越大。专家在事实性和推理上的评分还不够。你还必须询问非专业人士，这次互动是否回应了他们的真实意图。

第一项评测刻意保持简单：单轮英文问答。PaLM 并没有针对多语言使用做优化，而多轮对话更像是 LaMDA 的强项。他们想要一种可扩展的方案，不让功能蔓延而拖垮这篇论文。随着模型向学术界和医学研究的合作者开放，这些研究可以随后跟进。Labenz 对通用 AI 的未来有很多担忧，却一再回到这一点：那些看不到医生的人，会想找那些主张“干脆忘掉这项技术”的人谈谈。

即便按 2023 年的标准，这条时间线也压缩得很厉害：PaLM 论文在 2022 年 4 月发表，Flan-PaLM 大约在 8 月或 9 月，Med-PaLM 在 12 月，到 2023 年 5 月则有了 PaLM 2 和 Med-PaLM 2。前后一年多一点。PaLM 2 的算力利用更为优化，这使得全量微调变得切实可行。数据量依然不大：沿用同样的数据集，再加上约 200 条专家示范，约 100 万个 token。关键变化在于更新全部权重，而不是只训练软前缀。在 USMLE 式题集上的准确率达到约 85%，进入参加这类考试的医生中的前四分之一。

死记硬背是最显而易见的质疑。团队没有空口说白话，而是实际测量了重叠率：大多数数据集的重叠都不到 10%，而且有重叠的题目和干净题目之间，分数差距在统计上并不明显。这看起来是涌现，而不是死记硬背。Labenz 问，提示工程、软提示和全量微调各能带来多少收益。Natarajan 的立场是，任何梯度更新都属于专门化，这些方法都属于同一类。在基准测试上，简单的提示看起来很出色；但到了多维度的真实世界评测中，差距就暴露出来了。通用模型可能拥有世界的知识，却仍然不知道如何在真实场景中行动。这就是他们要做微调的原因。这个项目是 Brain 发起的一项登月计划（moonshot），自下而上，横跨医疗团队（Healthcare）、Brain、DeepMind 以及 Alphabet 旗下的其他实验室，口号是“把基础模型送进医学院”。

Labenz 怎么也看不够的，是这张新的人类评测图。在共识、阅读理解、知识回忆和推理这几项上，Med-PaLM 2 约 70% 的情况下被偏好，10% 到 20% 持平，约 10% 的情况下医生更受偏好。在遗漏信息、可能的伤害和危害的可能性上，模型明显胜出。人口统计学偏见上打平。医生仍然占优的唯一一项是不准确或不相关的信息，而 Med-PaLM 2 更有可能包含这类内容。Labenz 凭直觉判断，九项中有七项差距并不接近，这一比例远比 GPT-4 对 GPT-3.5 的那个悬殊。第一篇论文里那句“仍逊于临床医生”，至少在这种问答设置下，已经很难与这张图相契合了。

Natarajan 不会让这张图变成部署许可证。这些模型不应该自主上线，专家仍然需要参与其中。医生因为时间紧张，偏好简洁的答案，这可能在比较中对他们不利。后续研究会请医生给出他们最好的作答，并告诉他们答案将如何被使用。结果确实显示，眼下的价值在于辅助：在电子会诊中，医生写下要点，模型再用患者能看懂的语言把它补全；原本要花十分钟的文书工作，可以缩短到两分钟。凡是专家能快速核验的地方，模型都能大显身手。他对未来几年的设想是一位“协同医生”：它听取问诊过程，更全面地阅读病历，解读大多数医生并不真正理解的基因组学，并在医生做决定时提供信息。在几乎没有医疗标准的地区，好处是巨大的，但这仍不足以成为未经验证就上线的理由。

医学天生就是多模态的：实验室记录、病历、影像扫描、基因组学。Natarajan 更大的论断是，生物学和医学是地球上规模最大的数据生成飞轮，几乎超过其他任何领域，而没有哪个人类团队能够消化这些数据。AI 是理解它们的唯一途径。他预计会有两个结果：疾病机制和生物标志物的基础发现会加快，精准医学也会扩展到数十亿人。他给出的时间范围是 15 到 20 年。Labenz 看着 2020 到 2023 年的考试成绩曲线，怀疑这个预测是否过于保守。

概念上的积木是否已经齐备？Natarajan 把这个问题拆成两部分。如果你想要的是类人智能，那我们对人类智能的理解还远远不够。如果你想要的是另一种互补的智能，能够大规模处理信息，那么大部分基础模块已经具备。语言模型已经非常强；视觉模型即便有 Segment Anything 等成果，仍未达到要求，医学影像让这一点格外明显。解读影像就像大海捞针，因此表征必须十分精确。电子病历和基因组数据又是另一类难题，编码方式的选择组合数呈爆炸式增长。还有一个尚未定论的架构之争：是用一个巨型模型，还是用一组压缩的专门模型，并在它们之间进行路由，类似 HuggingGPT 的思路。目前还没有人做过认真的比较。

谷歌 I/O 大会上公布了一套 Med-PaLM API，目前仅向受限的可信测试者和学术项目开放，并且仍然针对他们最初搭建的问答场景做了优化。低风险的文档撰写和副驾驶式工作流会很快推进。有专家参与其中的应用还需要更多验证，但并不缺少兴趣。面向消费者的产品则是最不明朗的路径。人们已经在用 GPT-4 查询医疗信息。“那只精灵，某种程度上已经出了瓶。”Natarajan 说。他并不知道由谁来打造这种消费级产品、在哪里打造、怎样打造，也不知道监管会不会收紧。

Labenz 提出了一个正在进行的争论：一些初创公司只用授权的“可信”数据训练，言下之意是互联网预训练给模型灌入了大量垃圾。Natarajan 则坚持互联网规模的路线。在这种规模下，下一个 token 预测是一个复杂的多任务目标；句法、语义、医学、物理和常识都从中涌现出来，其中也包括前一位嘉宾提过的那类语境：麦片通常意味着牛奶，Burning Man 通常意味着沙尘。罕见病和怪异症状，通常都曾在某个论坛上出现过。他自己过去四年在影像、病历，如今又在大语言模型上的工作不断表明：更多样的数据能提升可靠性、校准度和分布外（OOD）表现。小数据集按定义就是有偏的。对齐是另一条腿；两者都需要。被要求放大视角时，他又回到了节目开场时的那句话：这感觉是一生难得的机会，可以安全地运用 AI，改善数十亿人的健康，帮助他们发挥潜力。