只靠文字的 AI 诊断胜过全科医生，谷歌却仍不肯上线

Nathan Labenz 欢迎来自谷歌 DeepMind 的 Khaled Saab 和来自谷歌研究院的 Vivek Natarajan。这是 Natarajan 第三次做客《Cognitive Revolution》，也是节目里出镜次数最多的研究者。今天的安排是逐一讲解五篇论文：放射学报告生成、诊断对话、Med-Gemini、它的多模态扩展，以及一个把化学符号与语言混合起来的新疗法模型。Labenz 在开场重申了他对 AI 的一贯期待：一个随身设备上的 AI 医生，全天候可用，成本只是发达国家的一小部分。他指出，他们将讨论的一些与人类相当的数字，仍然建立在 2022 年 4 月谷歌发布的 Flamingo 之上。

这篇放射学论文，是把那个早期的多模态模型微调，使其能撰写完整的自然语言报告，而不只是判断病理。Natarajan 称 Flamingo 是最初的少样本（few-shot）视觉语言系统之一，并说这项工作酝酿了两年多。Geoffrey Hinton 那句“AI 会取代放射科医生”的旧话已经有些出名，Natarajan 仍认为他说得没有太离谱。Labenz 用人手短缺来补充背景：他妻子的表亲是一位医生，她说医院可能要等长达 60 天，才能有人读完一次扫描。短期内，关于取代的争论，实际上建立在人手不足的缺口之上。

真正重要的结果，Natarajan 说，是临床上相关的任务：报告生成。他们选用一个按今天的标准看相当适中的视觉语言模型，在公开的 MIMIC 库中的高质量放射数据上做微调，结果逐渐接近放射科医生的水平。更值得关注的是协作的那一条线：当 AI 草稿交给人类放射科医生修改时，组合系统胜过了单独的 AI，也胜过了单独的人类。他引用斯坦福 AIMI 的 Curt Langlotz 的观点，并认为这里已有首个经验上的印证：机器不会直接替代放射科医生，真正被替代的是拒绝用 AI 的那部分人。

从 Flamingo 到 Flamingo-CXR 之间的十八个月，按基础模型的年头算，已经很长了。背后的数据工作正是原因所在。朴素的报告常会引用模型看不到的历史，因此团队必须删掉这些引用，并让系统只根据眼前的影像推理。在 Med-PaLM 上，他们用过同样的数据集，却没有使用哈佛的 Pranav Rajpurkar 等人整理出的清洗过的报告，结果为此付出了代价。Natarajan 说，把这种清洗与相对较小的语言模型结合起来，性能就能追上更大的模型。Saab 补充了评估上的代价：生成式系统不再输出单一标签，准确率已经是错误的指标，金标准是一组临床专家，这很慢，但在医学里是必需的。

Labenz 如今几乎在每一份幻灯片里都会放的那篇论文是 AMIE。它的基础模型是 PaLM 2，比谷歌最新的模型落后一代；他指出，即便把它放到 2020 年甚至 2022 年，也足以令人震惊。通过纯文字聊天，这个系统做出的鉴别诊断比人类全科医生更准确。其他医生给了它更高的评分，而模拟患者在共情方面，以及让人感到被倾听方面，也给了它更高的分数。Labenz 说，他一直无法忘掉这个结果。

团队自己也很惊讶。在 Med-PaLM 之后，他们几个人坐下来讨论，一段诊断性的医疗对话要多久才能实现。一致的猜测是至少两年。六个月后，AI 在《新英格兰医学杂志》的病例挑战和诊断对话上，都超过了全科医生。Natarajan 说，在 AMIE 之前，模型拿到的是整理好的病例摘要，然后被要求给出诊断，这是一个至今仍不是日常实践的重大挑战。一次真实的就诊，是在不确定性下进行的调查：病史、追问、化验，然后才是鉴别诊断与治疗方案。他此前没有见过语言模型在任何领域被证明能做这种工作。

他认为，ChatGPT 和 Gemini 仍然是由用户主导的。在诊室里，模型必须主导：挑选下一个问题、高效获取信息，并带领患者走完整个过程。这是另一种技能，而且并不显然能训练系统去做。在他看来，之所以能做到，是因为一个模拟学习环境，让自我对弈生成的文字诊疗次数，比任何医生能见到的多出几个数量级。随后他立刻给这个标题降温：这种比较并不完全公平。医生不习惯用文字交流，他们靠面部表情和声音传达共情，而 AMIE 也不会在漫长的门诊之后感到疲惫。但他说，进展仍然是不可否认的。

Saab 讲解了他们如何训练模型进行诊断对话：先收集患者的困扰，追问，然后给出准确的诊断，或许还有一个方案。最初的直觉很明显：收集真实的医患就诊记录，转写，然后训练。第一个以这种方式训练的 AMIE，并没有得到他们想要的对话。转写稿很嘈杂：尴尬的停顿、用手指指点点，以及那些在纸面上失去意义的话语。于是，他们转而构建了一个多智能体的合成数据框架，灵感来自一些研究，它们表明能力强的大语言模型可以策划高质量的合成数据。

循环中有三个智能体。一个根据生成的画像扮演患者，画像包括症状、社会史、既往病史和家族史。一个扮演医生。第三个是批评者，它被告知高质量对话是什么样子，然后把意见反馈回去，进入下一轮生成。覆盖面来自一个病例生成器：借助网络搜索和其他工具，生成数以万计的患者画像。略过赞助商插播之后，Saab 解释说，他们从同一个 PaLM 2 检查点出发，加上角色提示词，然后同时用患者的话轮和医生的话轮微调 AMIE，让同一个模型在两边都变得更好。这种外层的自我对弈循环，即随着模型改进而重新生成数据，正是系统能够持续累积能力的方式。

Labenz 指出，数万份画像，与 15 万亿 Token 的预训练相比，听起来很少。Natarajan 的回应是，他们并不是从零开始训练：PaLM 2 所见过的 Token 数量，与 Llama 3 或 GPT-4 的量级相近。恰当的比较对象是一位医生的职业生涯，粗略估算，那是数万次诊疗。把这些画像与社会经济地位、用药、旅行，以及健谈、焦虑或具有对抗性的人格交叉组合，组合空间就能达到数百万乃至数亿。对话的数量会滚到数百万次。他们在论文中于第七轮外层循环后停止了检查点，Labenz 说，这已经超过了大多数批评者循环论文的五轮上限。关键在于，每一轮都必须带来新的信息，否则模型会饱和。

Labenz 问了一个关于世界变化的问题：出现一种新的新冠变体，或一个新的事实，你要把一切都重跑一遍吗？Natarajan 说，每一轮自我对弈都已经扩展了病例素材库，新的变体可以加入微调的混合数据中。更干净的长期答案，是 Med-Gemini 的工具使用，尤其是网络搜索，让实时检索覆盖在临床推理之上。Saab 两者都想要：持续用新信息训练，同时用搜索来处理昨天才出现的事实。Natarajan 最后提到的医学特有部分，是可扩展的监督。模型需要诚实的不确定性，能够告诉患者自己不知道，并愿意退后一步、请教专家。他说，这种行为仍在研究之中，而它正是安全部署所缺少的那一块。

Labenz 原以为，AMIE 之后最显而易见的下一篇论文会是多模态就诊：视频通话，对话中加入图像。但 Med-Gemini 并不是这样。它是一个模型家族，有的基于 Gemini 1，有的基于 1.5，甚至可能仍混用了 Flamingo，每个模型都被调到一个狭窄的任务上，覆盖病理、扫描、基因以及二维和三维影像。为什么做成一把瑞士军刀？Natarajan 把 Med-Gemini 看作 Med-PaLM 在更强基础模型上的类比，并带来一个新的亮点：在超过一百万 Token 的窗口上实现原生的多模态理解。Med-PaLM 有 USMLE 作为公开的噱头，而 Med-Gemini 并不依赖单一的小把戏，它是一个新近变得可行的任务平台。

他们去年证明过的通才模型，在他看来原本是一个研究问题。机器人学里有一些例子，医学里却没有。一旦他们开始思考如何部署，取舍就来了：用哪些数据、哪些任务、延迟、吞吐量、模型大小。把所有东西都塞进最大的模型，对某个具体应用来说，往往不值得付出这样的成本。真实世界需要的是一份菜单。有些工作几乎不需要推理，而且要求极低延迟，于是保留小模型。有些工作需要高级临床推理和百万级上下文，就给它们另一个选项。通才模型的研究挑战，看起来已经不再是未解之题；产品上的挑战则仍然存在。

Saab 把这篇论文定位为探索如何为医学专门化 Gemini 的第一步：文本推理，搭配一个智能体式的网络搜索框架；医学图像，因为基础模型是多模态优先的；然后是百万乃至如今两百万上下文的突破。这使得把多份电子病历记录放进窗口、与手术视频对话，以及对 12 篇遗传学论文提问，都成为可能。他认为，在临床上会转化得更好的，是定性的多模态对话，而不只是一次性的问答。他说，一篇基于这套技术的 AMIE 式论文即将出来，但它需要更慢、由专家进行的评估。Natarajan 承认，这个领域的基准测试已经跟不上模型了。MMLU 上 6% 的提升，只是系统能力的一小部分，在出现更好的衡量标准之前，大家都只能在静态数字和演示之间摇摆。

Labenz 对成本焦虑提出了反驳。他指出，Gemini 1.5 Pro 每百万输入 Token 收费 7 美元，只要真能用，他愿意每月付 500 美元，而这仍比它所替代的东西便宜一个数量级。Natarajan 同意价格在下降，并认为 Flash，以及之后的端侧 Nano，才是能力与成本之间的甜点。谷歌的习惯是不去瞄准最顶端的 1%，这是 Labenz 后来才慢慢学会的。要想到十亿用户的规模。在加州，每年 500 美元不算高；在印度和非洲的大部分地区，这是行不通的。如果定价对 99% 的人都是门槛，那他们只是放大了医疗中的不平等，而不是缩小它。这是他们不追求的结果。

Saab 补充说，纯文字版的 AMIE 已经比临床专家或一个夜晚的自我研究便宜得多，而视频或音频会改变成本账。Labenz 赞同这种可及性的愿景，然后问了更尖锐的路径问题。为什么不采用特斯拉的打法：先卖昂贵的版本，再补贴便宜的版本？谷歌有资产负债表可以跳过这一步。而从另一头看：世界上许多人今天连 AMIE 都不如。如果比较的对象是斯坦福的医疗水平，而不是根本没有医生，那么坐等，什么时候会变成道德上的失败？他无法想象，到 2027 年，这项工作仍在继续，而部署仍然是可选项。

Saab 记得，刚加入谷歌不久，在一次内部峰会上他举过手：语言模型服务都是免费的，为什么不做一个 AI 医生？这个答案让他领会了 FDA 监管和医学评估的微妙之处。Natarajan 说，这种两难是让他夜里睡不着的最大问题之一。他们能够打造具有社会影响力的工具，但必须清楚地传达进展，而不能假装能力就等于可靠性。论文和产品都带有免责声明，是有原因的。推特上关于 ChatGPT 打败医生的爆款言论只是轶事，监管机构不会因为轶事而行动。

他想要的发展路径，更像药物研发。先从模拟开始，对 AMIE 来说，这意味着用患者扮演者，而不是真实患者。然后，把系统作为一种干预放进真实的临床工作流程，读出数据，先检查安全性，再谈疗效。能力按阶段逐步提升。他希望这不会花上十年。把未经证实的系统倾倒到那些本来就缺乏最好资源的地区，也就是他自己的出身地，将是一种错误的伦理。测试安全性本身也需要监督：当 AMIE 出错时，要有一位医生随时能通过电话介入。今天，这些资源大多集中在资源充足的西方机构中，因此他们会先在那里合作，并表示相关公告应该很快就会发布。

他说，没有捷径。走了捷径，就会让这个领域倒退几十年。医疗保健中的一切，都以患者、医生和监管机构之间的信任速度前进。反直觉的是，把事情做对，反而能更快抵达未来。Labenz 承认，AI 让他自己的立场变得混乱：他既害怕全速冲刺的规模化，又仍然想要自己的 AI 医生，哪怕它只是和人类医生持平。也许只有等到好上 10 倍，才能换来那份信任。社会接受度则是另一个缓慢变动的变量。Natarajan 的母亲大多是在航空公司那里，把 AI 当作隔在她与真人之间的一堵墙。他并不会感到惊讶，如果只有十分之一的人真正用过 GPT-4 或 Gemini。一项需要服务十亿用户的技术，在普及之前还有几十年的路要走。

Labenz 曾提出过不确定性引导的搜索，但始终没有收尾。Saab 说，朴素的工具使用可能会造成伤害。如果 Med-Gemini 为每个问题都写出搜索查询，抓取网页，然后把结果塞进上下文，那些无关的事实会给模型更多抓住错误东西的机会。他们用了两个办法让它奏效。第一，生成多个答案，找出其中的冲突，然后针对这些分歧写查询，让搜索对准模型真正困惑的地方。第二，在训练时把搜索结果放进上下文，让模型学会提取有用的片段，而不是过度依赖。这种做法比的是完整回答之间的差异，Token 级别的困惑度标记并不在其中，这也自然成为一种升级给人类的信号。

Natarajan 把当前的方案称为不够优化：他们不希望每次都重新生成，并且希望模型自己用语言表达不确定性。搜索只是即将到来的智能体堆栈中的第一个工具，它将与更多专业化的系统通信。对于这篇论文来说，这种实现是针对基准测试调过的。作为一个花絮，他还提到，Saab 的妻子 Kiren 有一段录像，记录了他在加油站里，三个月来写这份工作代码的样子。

Med-Gemini 扩展论文，是 Labenz 大声念出放射学数字的地方。在两个胸部 X 光数据集上，相对于原始放射科医生的报告，AI 报告的绝对优势分别是 1% 和 12%。在正常病例中，57% 和 96% 的 AI 报告被判定为等同或更好；在异常病例中，这一比例分别是 43% 和 65%。他说，这很难被解读为别的什么，只能是二维胸片上的临床效用。论文还报告了首个大规模多模态模型生成的三维 CT 报告，其中 53% 被认为在临床上可以接受。据他理解，这一切都是通过独立编码器进行后训练实现的，而不是把 CT 扫描直接倒进预训练里。

原生多模态，是否很快就意味着预训练中包含每一种模态？Natarajan 希望有通用编码器：一个二维编码器同时处理自然图像和医学图像，一个三维编码器处理视频和 CT，而不是数以百计的专才。今天，专门的编码器仍能带来提升，因此适配器和后训练仍然必不可少。如果一个三维编码器能同样好地处理 CT、MRI 和视频，那么更多这样的数据就能混入预训练。他们还没有到那一步。Saab 同意通用编码器会很好，但他仍然希望在行为层面做医学专门化，比如在诊断对话中如何跟进患者，即便像素问题已经解决。

Labenz 列表上的最后一篇论文是 TX-LLM：化学结构用每个预科生都熟悉的字母串表示，并与自然语言一起放进训练文本。他想知道，可解释性之后，能否在这些权重中找到人类没有命名的高阶概念。Natarajan 退一步谈动机。Fleming 和 Jonas Salk 都曾是白天看病、夜里做实验的临床医生。使命是医学超级智能，让医疗普惠；这个过程感觉像是在编码生物医学的整个宇宙，从 DNA、RNA 和蛋白质，一直到影像、电子病历和人群健康。他想要的综合系统，是一位混合型 AI 医生兼科学家：更好的可及性、更好的生物学、更好的疗法，并在规模上实现个性化照护。

TX-LLM 是一个较早的、Med-PaLM 时代的纯文本指令微调模型，不是对话式的。结果是，单一的通才模型可以覆盖从靶点识别到临床试验的整个治疗管线。有些任务仍然落后于专门的模型；在不同治疗模态之间迁移，才是最值得看的部分。他说，他们还没有做足够的工作，去挖掘其中独特的内部洞见。另一条发现路线使用的是生成式输出，而不是这些表示。幻觉是个问题，它的另一面是创造力，而科学需要创造力。去年年底，他们与斯坦福的合作者一起，让模型提出了一个导致小鼠听力丧失表型的致病基因假设；CRISPR 敲除实验验证了它。此后，他们把同样的方法用在人类意义不明的变异上，也就是那些罕见病和未确诊疾病，那里的医生最为稀缺。

Labenz 把 AI 科学家放在一条类似库兹韦尔的曲线上来看，那是 1990 年代末的曲线：基础模型加上智能体式的恢复，再加上对 AlphaFold 级工具的调用。他既受到鼓舞，又有一点害怕；他不会押注未来几年它会在发现上超过人类。Natarajan 用火、蒸汽、电、核能作答：双重用途由来已久，社会最终会弄清楚有益的用途，而他是乐观的。Saab 指出了阻碍：目前，一个假设仍然要送到湿实验室，耗时数月。生物模拟器会让这个循环快得多。Natarajan 补充说，他们刻意不把系统接到机器人实验室上，因为还不知道如何安全地控制它。专家始终留在循环之中。

Labenz 陈述了他的公开立场：在采用上是加速派，在超大规模扩张上是暂停派。他希望尽快拥有 AI 医生和 AI 程序员，同时担心再多几个数量级，会产生真正超人类的东西。可解释性的进展，比他 18 个月前预期的要好，但仍然感觉落后于规模扩张的鼓点。他对嘉宾提出的具体检验是：如果 Gemini 1.5 Pro，或者 1.5 Ultra，是他们能得到的最好模型，那么后训练、验证和苦干，是否仍能实现 AI 医生的愿景？

Saab 不明白，超人类的工具为什么默认会让我们害怕。计算器在算术上已经能胜过数学博士，计算机在记忆上已经胜过我们。只要工具是可控且有益的，在某些维度上超过人类就没有问题。他能在同一周里同时戴上两顶帽子：AMIE 令人震撼，而这些系统仍然会在基础问题上出错。幻觉是让他夜不能寐的问题，即使是在 AI 医生身上也是如此。如果进展停在 Gemini 1.5，那么基于它构建 AMIE 仍然能做很多好事。消除那些愚蠢的错误模式，可能仍需要模型的持续改进，而他并不知道规模是不是解药。

Natarajan 直接作答。是的，用今天的大语言模型，就能构建一个让医疗更加普惠的系统。他从 Waymo 那里获得灵感：没有 AGI，自动驾驶照样能运转，靠的是多年的模拟、安全投入和系统工程。医学需要同样的东西，外加过程监督来改进推理路径，以及能覆盖长尾的数据。以今天的基础能力，这需要更多时间；以更强的模型，则需要更少。如果谷歌的进展停滞，他们就继续在现有条件下推进这一愿景，只是会晚一些到达。Labenz 把这听作一个确认：整合已知技术的两年，或许比下一次训练更重要。在人们谈论与中国的军备竞赛和万亿美元级集群时，他希望把这个事实摆上台面。Flamingo 是 2022 年春天的模型，它已经能写出有用的放射学报告。

Natarajan 说，如果扩展停滞，改变的是护城河、市场推广和商业化，而不是可能性本身。这些系统已经不再是科幻。他请大家保持理性的乐观，而不是炒作。Saab 以一个较小的起源故事作结：在听 Labenz 采访 Natarajan 谈 Med-PaLM 之后，他对这些论文的理解足够深入，因此在谷歌的面试中给未来的合作者留下了深刻印象。他感谢节目让 AI 教育变得人人可及，然后两位嘉宾结束了对话。