十分之一的搜索是健康问题，医生也在谷歌上查

Sarah Guo 和 Elad Gil 把 Karan Singhal 介绍为负责医疗 AI 工作的谷歌研究员，聊的正是刚刚宣布推出的 PaLM 2 背景下的 Med-PaLM 2。这个时机并非偶然。PaLM 2 是 Med-PaLM 2 的基础模型，多语言、推理和编程能力都比前代更强。整期节目悬而未决的问题是：语言模型能否被调教得足够可靠，从而去谈论健康问题。

Singhal 的第一个 AI 项目是在他十九岁时做的：一个围绕 2016 年美国大选构建的假新闻检测器。他想让这项技术被用在对社会负责的地方。如今他说，那个项目有点天真。取代它的、更长远的问题，是如何塑造 AI 的发展轨迹，让它造成的伤害更少；而医学，成了这个问题无法回避的场景。

他在谷歌的整个职业生涯并不都在医疗领域。最初几年，他研究表征学习（representation learning），也就是 GPT-3 和 GPT-4 等模型底下的那一层，可以一直追溯到卷积网络、word2vec 和 GloVe；同时研究联邦学习（federated learning），让模型无需集中数据也能改进。大约在这次对谈前一年半，他和几位同事向谷歌内部的 Brain Moonshot（谷歌用来孵化雄心勃勃研究的孵化器）提交了一份提案。项目获得了资金，团队拿到了算力和领导层的支持，他们共同做出的第一件东西，就是 Med-PaLM。

PaLM，即 Pathways Language Model（Pathways 语言模型），是谷歌在全公司范围内训练大语言模型的技术栈。2022 年的原版是一个 5400 亿参数的纯解码器 Transformer，也是当时参数最多的稠密激活模型，在代码、多语言和推理方面都有明显提升。几个月后，Minerva 项目展示了 Singhal 所说的“从零到六十”的效应：在 STEM 基准测试上，从随机猜测一跃到扎实的分数。这一结果推动了 Jason Wei 关于涌现能力的研究，也是 Med-PaLM 团队一开始就用多项选择题医学测试的原因之一。

开箱即用，PaLM 在医学单项选择题上的表现就已经不错。它的指令微调版本 Flan-PaLM 做得更好，是第一个在 MedQA（一组 USMLE 风格的题库）上达到及格线的模型。随后，团队让它撰写长篇医学回答，并把这些回答与临床医生的回答作比较。差距一目了然。选择题的能力，并没有转化为一段你会希望患者读到的回答。

专门针对 Med-PaLM 的对齐方法，是指令提示微调（instruction prompt tuning），这是他们在第一篇论文中探索的一种数据高效的方法。医生的标注非常昂贵，因此他们收集了专家示范的良好行为，并用这些示范来调整参数：它比提示词学得更多，又比完整微调便宜。这是在不做第二轮完整预训练的前提下，尝试缩小长篇回答差距的办法。

从 PaLM 到 PaLM 2，以及从 Med-PaLM 到 Med-PaLM 2，并不是把第一篇论文原样复制一遍。Singhal 把功劳归于一个庞大的团队，然后说明了三处改动。预训练使用了混合目标，借鉴了 UL2 论文的思路。团队实证检验了数据与算力之间的规模定律（scaling law），结论与 DeepMind 的 Chinchilla 结果非常接近：此前的模型相对于数据来说参数过多，在同样的算力下，投入更多 Token 能得到更好的模型。第三处改动是数据配比本身：更多的多语言文本，以及更多编程语言的代码。

Gil 请他给出一个框架：什么时候从头预训练，什么时候微调，什么时候做提示微调，什么时候只写一个提示词？Singhal 的回答几乎完全取决于手里有多少相关数据。如果供给几乎无限，算力也不是问题，那就端到端地预训练。如果网络规模的预训练已经赋予了你所需的能力，比如他说医学推理依赖的是通用推理，那就从现有模型出发，尤其是在成本重要的时候。

有了预训练模型，剩下的就是数样本数量的问题了。三到五个示例：用提示词。十到五十个：提示微调和微调的表现相近，如果算力或成本受限，他会选提示微调。一百个以上的示例，又需要最佳分数：就做微调。即便如此，这也比预训练便宜得多。他暗示，大多数团队应该停止争论要不要自建庞大的基础模型，把精力放在适配和评估上。

团队走进去的那个领域并不空荡。Galactica 和 BioGPT 已经把大语言模型推进到科学和生物医学领域，Singhal 很谨慎地承认了它们的贡献。在他看来，缺少的是一套系统化评估临床知识的方法。论文之间不断更换基准测试；其中一些基准本身质量并不高；而包括医生和普通人在内、以医学问答为场景的详细人工评估，又很少见。这就是 Med-PaLM 的工作从一开始就以评估为先的原因。

Gil 有过医疗公司的经历：他联合创办过 Color，团队对每一个返回给患者的数字都斤斤计较。然后他讲了一个相反的故事。他带儿子去急诊室，医生说需要查一查资料；Gil 绕过隔断，发现这位医生正缩在一个隔间里，用谷歌搜索孩子的症状，一条条点开普通的搜索结果。那里没有深入、准确的信息源，只有一次查询。

Singhal 把这看作两股相互竞争的力量。医学的风险很高，因此任何信息类产品都必须胜过一个人在别处能获得的信息。与此同时，“犹豫同样是一种决定。”大约十分之一的互联网搜索是为了健康信息，其中有些搜索者本身就是医生。他说，安全地把技术引入这个世界，是一种责任，不是可有可无的附加项。至于他们自己的工作，仍然缺乏在真实工作流程中做扎实评估的环节：在任何真实世界应用之前，既要证明短期安全，也要证明对患者长期有益。

Guo 后来把同一个观点说得更尖锐。一位患有复杂、罕见疾病的患者，并不知道自己医生的误差矩阵。现状算不上金标准。安全论证应当是合理的，不应是无限的。她认为，无限的门槛正是埋葬其他关键任务型 AI 应用的原因。Gil 补充说，医疗保健领域的辩论几乎已经不谈成本收益，尽管黄仁勋等人一直在要求业界把收益这一面也算进去，包括全球卫生公平。

Guo 注意到一个规律：生物医药 AI 公司总在做又一家蛋白质折叠或小分子公司。健康信息看起来才是更大的驱动力，为什么大家不去做？Singhal 的回答是商业层面的。药物发现已经有现成的打法，新公司可以照着做，获得近期收入。现有的研发流程会根据小分子化学来预测吸收或毒性；换上一个更强的模型，它大概率会胜过上一代。这是一个相对稳妥的赌注，所以这个品类才会如此拥挤。

用他的话说，健康信息是直捣要害的领域。那些已经掌控这些渠道的机构，往往用风险来思考，而较少考虑更好的信息会带来什么。这种谨慎既拖慢了大公司，也拖慢了创业公司。他认为，把这件事做对的团队，也会在政策和监管制定时获得一席之地。Gil 算了一笔账：医疗保健约占美国 GDP 的 20%，制药约占其中的 20%，而药物开发只是制药的一小部分。Med-PaLM 这类模型瞄准的，是大约 16% 的 GDP，还没算上关于谁能获得药物的临床决策。

被问到这项技术最先会在哪里出现，Singhal 不是从自主诊断开始说的。文档和账单工作流程已经有人在尝试，团队把 GPT-4 等模型塞进这些风险较低的工作中。他认为，Epic 这样的玩家可以与现有模型合作，真正交付价值，而在这些环节上，通用领域模型可能就已经够用。风险较高的临床工作，才是专门模型能够证明价值的地方；短期内它更像一个助手，无法取代医生。

他具体描绘的画面是放射科。一个智能体与放射科医生并肩工作，帮忙解读扫描影像，并调取患者的病历、既往影像以及不同角度的图像，让报告更加准确。这种工作流程今天就可行，它利用了额外的上下文和潜在的多模态能力，而且正好处在监管上的甜蜜点。它是带有书面记录的辅助，并非交给患者、无人监督的意见。

隐私问题仍然处于临时应付的状态。有些人把患者信息粘贴进 GPT-4，有些人会先做脱敏处理。Singhal 希望技术栈在隐私保护上更加超前，先从唾手可得的果实做起：在任何内容流入流水线之前，自动剥离敏感细节的模型。机构内部也可以推动符合 HIPAA 的合规要求。再往远看，他没那么确定：来源不明的软件，可能很难扩展到高风险场景，但他预计，当改善疗效变得显而易见时，关于监管和隐私的严肃讨论就无法避免了。

Gil 对 HIPAA 本身更加严厉。这部法律已经快三十年了，出发点是好的，但在他看来，有时反而会伤害患者。他讲到一位患有胶质母细胞瘤的 MIT 研究人员：他加入了一个小型临床试验，之后却拿不到自己的数据，因此无法为自己的肿瘤寻找药物。一部互联网出现之前的法律，正在管理一个数据高度流动、患者想要自己掌控诊断的世界。

Singhal 的早期职业生涯投入在保护隐私的机器学习和联邦学习上，它与医疗保健的契合似乎显而易见。他的顾虑是现实的。未来几年，最强大的集中式模型会占据主导，而这些模型在没有患者记录的情况下，已经表现得出奇地好。他说，Med-PaLM 和 Med-PaLM 2 在训练时没有使用任何患者健康信息：它们拿 PaLM 和 PaLM 2 来调整模型的行为方式。在健康数据上做联邦学习，合规摩擦太大，他怀疑未来几年最大的进展不会来自这里。更有可能的是过渡性的方案，比如可信执行环境，让工程师接触不到数据。

Guo 请他展开一个他一直在思考的想法：把医疗助手当作安全与对齐研究的实验室。Singhal 进入这一领域时并非临床医生，他是在寻找一个能推动 AI 变得更有益的地方。谷歌、DeepMind、Anthropic 和 OpenAI 都在用通用聊天助手作为对齐的测试平台。他逐渐相信，医学问答或许是研究技术安全、错位和幻觉的更好场景。

理由层层叠加。激励方面：谁想在这里推出产品，都得比 ChatGPT 团队更用功地解决这些问题。利害关系方面：没有人争论它们是否重要。真正关键的技术点是可扩展监督。一旦 AI 能力达到人类水平，人类反馈就会变得信息不足，像 RLHF 这样的方法就开始失效。医学领域本来就身处这种境地：你需要专家来给答案打分。Med-PaLM 2 越接近医生水平，就越难区分模型之间的差异，也越难把模型和医生区分开。不知情的监督，会让“对齐人类价值观”沦为一句没有评估者的口号。

Gil 提到了围棋和国际象棋：机器一旦更强，人类就从中学到了新的思路。但医疗建议如果人们无法理解，情况就不一样了：你没法研究一步你看不懂的棋。Singhal 并不声称已经有了答案。他提到的几条研究路线是：在人类反馈指导下的自我批判、辩论（判断两个答案之间的竞赛，比直接判断一个答案容易），以及较弱的 AI 监督较强的 AI，而这已经是奖励模型和 Anthropic 的宪法 AI（constitutional AI）所依据的逻辑。他说，去问各个实验室的研究人员，这个问题是否已经解决，大多数人会说没有。

Gil 指出，一个副作用可能是数据。医生助手的建议可以与患者实际发生的情况对应起来，形成一个闭环的回溯数据集，这是普通电子病历（EMR）给不了的。Singhal 同意：这种反馈可能是最重要的训练信号之一，这将是真正由数据驱动的医学，不再是偶尔才发生的事。

Gil 的警示故事是 MYCIN。它是 1970 年代斯坦福的一个专家系统，在预测传染病方面的表现超过了医务人员，但从未被采用。他说，医疗技术有时会对那些最重要的东西产生“反采用曲线”。Singhal 的回答是，推动医疗 AI 和更广泛的 AI 社区相互催化，正是 Brain Moonshot 的意义所在：模型早已存在，剩下的局限才是阻碍采用的东西。GPT-4 之后，相关讨论爆炸式增长。他看到了广泛的乐观情绪，也看到了一种更安静的恐惧，就像程序员看着 GPT-4 时的那种感觉：不一定是担心工作会在下个季度消失，而是担心 Med-PaLM 1、GPT-4 和 Med-PaLM 2 之间只隔了大约三个月。有用的回应，是挑出重要的问题，而不是去追逐热潮。

展望五年后，他把希望分成两类。第一类是提高医疗服务的标准：更广泛地获取健康信息，医生的辅助，临床决策支持，报告的质量检查。他举了一个小例子：放射科医生口述“未见胸腔积液”，转写结果却写成了相反的意思，模型会标记出这种不一致。他认为，在这个时间窗口内，远程医疗的增强是可以实现的。第二类是科学工作流程：跨模态寻找新的生物标志物，把语言模型用作研究助手和文献检索工具。这可能需要超过五年，而他认为 AI 真正的潜力就在这里：帮助科学家看见他们所遗漏的东西。

谈到真正落地，他列出了三项仍需做好的能力。多模态，谷歌在 I/O 大会上刚刚预览过。基于权威来源的接地（grounding），包括 Toolformer 式的工具调用，用来查询医学信息并标注出处：他说，谷歌自身的健康搜索之所以有所进展，很大程度上是因为它能指向梅奥诊所（Mayo Clinic）。以及人类反馈：这个领域仍在争论成对比较还是改写更好，而在可扩展监督之下如何利用这些反馈，是 Med-PaLM 目前的一个重大局限。这些看起来是基础性的 AI 问题，只是当话题关乎某个人的健康时，它们会变得更加迫切。