随机找 100 位医生，Zak Kohane 会惊讶于其中有人能胜过 GPT-4

Nathan Labenz 介绍 Isaac Kohane，同事们叫他 Zak。他是哈佛医学院生物医学信息学系主任，也是《The AI Revolution in Medicine》的合著者，该书前言由 OpenAI 首席执行官 Sam Altman 撰写。2022 年秋天，Kohane 是为数不多获得 GPT-4 预览版访问权限的人之一，那时 ChatGPT 还没有向公众推出。Labenz 开玩笑说，人们管他叫“AI 炒作哥”。他称这本书是他所见过的、来自学术界的关于现代 AI 应用的最佳实践研究，并引用 Altman 的话：这项技术触及的每一个领域，都需要这样的投入。

Kohane 在瑞士长大，大学时到美国求学，他是在生物学本科期间学会编程的。医学院以一种特别的方式令他心生恐惧。他家里没有人是医生，他亲身发现，医学是一门高尚的职业，却不是科学的好应用。1980 年代 AI 的鼎盛期，他中途离开医学院几年，去读计算机科学博士，之后眼看着这个领域因为过度的承诺而坠入寒冬。他完成了临床培训，成为一名儿科内分泌专家，先在哈佛担任儿科教授，后来创立并主持了生物医学信息学系。

此后，他参与了医疗 IT 基础设施的工作，其取向是优先让数据为患者流动，其次才考虑第三方。他还创办了《NEJM AI》，这是《新英格兰医学杂志》的子刊，目的是探讨社会究竟如何对护理中的 AI 产物进行临床级别的验证。Labenz 的结论是：在 AI 与医学的交界处，他的资历已经高到不能再高，而且他已经亲历过一轮没能兑现的周期。

Peter Lee 是微软研究院负责人，也是卡内基梅隆大学计算机科学系的前主任。他打来电话，附带一个条件：Kohane 不能告诉任何人，而 Lee 为了进行这次对话，也需要公司最高层的许可。那是 GPT-4 还没有 ChatGPT 的时候。Lee 给他演示了它能做什么，然后直接给了他抢先的访问权限。Kohane 用他自己的话说，当时他目瞪口呆。他的第一反应是自己的语言能力失灵了，这对他来说很少见。他并不惊讶这类事情会发生，但他无法相信它此刻就在发生。他原以为可能还要五年。

他给模型出了非常困难的病例。其中一个是一名被叫到育婴室的孩子，阴茎根部有一个孔，摸不到睾丸。他问 GPT-4 接下来会怎么做。它一步一步地推进，先是影像学检查，然后是激素检查。每当他反馈一项结果，它就越来越接近，最终得出 11-羟化酶缺乏症的分子诊断。如果他随机找 100 位医生，他会惊讶于其中有人能做到这一点。他此前已经见过模型产生幻觉、编造内容。而它能在一个并非专门为医学调优的通用语言模型上进行高水平的医学对话，转过头又能对关于《塔木德》的问题给出专家式的评论，这让他既感到咋舌，又感到不安，同时也很兴奋。

几天之内，两个后果就显而易见。第一，它会改变医疗的后台：费用怎样支付、账单如何流转、手术如何获批，也就是临床医生最痛恨的行政负担。第二，由于它将向公众开放，它会改变那些越来越得不到初级医疗、又迫于无奈而使用“Dr. Google”的患者所掌握的知识，即便那些网站并不可靠或思路有误。他说，只要有人参与其中，并且患者最终还是会去找医生，这就比今天已有的情况好得多。在美国和其他国家，人们当时已经在用 GPT-3.5 管理自己的健康。

一项变革性技术冲击一个保守的专业领域，必然会改写权力关系。一些抵制来自对准确性和偏见的真诚担忧，而另一些则是神圣不可侵犯的既得利益：有些人靠把控医疗信息的流动赚了大钱。如果一个模型列出了刚被提出的手术的五种替代方案，患者又把这份清单拿给另一位医生看，第一位外科医生肯定不会高兴。Kohane 说，这只是数以百万计的此类对话中的一个例子，而且医学会以其他垂直领域无法做到的方式，让这些问题变得十分个人化。

Labenz 也有自己的那个夜晚。作为 GPT-4 预览计划中的 OpenAI 客户，他熬到天亮，一件接一件地尝试。等震惊过去，Kohane 究竟是怎么研究它的？其他学科的人应该照搬什么？Kohane 说，要亲自动手，用它去跑你所做工作的真实案例。他字面意义上做了数百个临床场景，最后只有少数写进了书里，涵盖医生在不同阶段使用模型的情形，从初步筛查到治疗管理，再到生成收费编码。他还问了身边的朋友，他们最近向自己的医生问过什么问题，他也把这些问题拿来测试了。

他在研究方面也做了同样的事：把临床和基础生物医学研究的各个部分一一写在纸上，然后带着模型逐一走过这些问题。有些领域还没到能拿出来示人的程度，另一些领域它处理得非常出色。对于一个普通公民、消费者或经营企业的人来说，他认为别无他法，只能亲自做这样的评估。这也是《NEJM AI》存在的原因。社会仍不清楚，这些工具的临床级验证将由谁来承担；至少他希望有一本期刊能成为这类验证的一个来源。跳过亲身使用的决策者，无论处在哪个垂直领域，都是危险所在。

Labenz 反复引用书中的一句话：要理解 GPT-4，就必须使用它并与它共处；再多的阅读也告诉不了你坐过山车是什么感觉。Kohane 补充说，这是一个前范式阶段：我们对这些系统现在能做什么、将来能做什么，都没有好的理论。一方面，模型在某些方面做得远比你想象的要好；另一方面，它又极其有限。你必须亲身去学习这一点。Kohane 认同 Peter Lee 的说法：它同时比你见过的任何人都更聪明，也更愚笨。

Labenz 把 Kohane 自己说的两句话放在一起对照。这个 AI 在临床上表现如何？Kohane 惊讶地表示，它比他观察过的许多医生都要好。在可预见的未来，没有直接的人为监督，GPT-4 就不能用于医疗场景。它的惊人之处是真实的，它进步的速度也是真实的：一年前，GPT-3 在全国医师资格考试中表现极差；现在 GPT-4 已经是顶尖水平。但它仍然不是一个人。Kohane 说，他的意思并非带着以人类为先的偏见。人们彼此分享的常识，不能想当然地认为模型也具备。它能在复杂的诊断和治疗问题上以专家水平展开讨论，然后偶尔会脱轨，而且一旦出错就是大错：在自己错误的地方争辩不休，或者把对你很重要的事情视作无关紧要。

有个老笑话：医学院班级里成绩垫底的人，叫什么？医生。平均而言，一半的医生都属于后一半。Kohane 确信，在这些人手中，GPT-4 能让他们大幅接近前一半，这对医疗来说是巨大的提升，甚至还没谈到那些先锋式的、像《豪斯医生》那样的壮举。仅仅是让医学由更好的从业者按应有的方式去实践，就是一次巨大的进步。但由于我们无法假定模型理解某个人的价值观，跳过人为环节，他保证会带来大量问题。你知道得越多，就能从 GPT 那里获得越多：更聪明的问题会得到更聪明的回答。

书中勾勒了把这类系统接入医学的四种方式：试验、实习生、搭档、先锋。Kohane 认为，前两种符合现有监管，恰恰是它们行不通。针对特定任务的卷积网络，比如眼底照片上的视网膜病变或胸部 X 光上的肺炎，可以定义人群、成功指标、随访，甚至 FDA 批准。GPT-4 无法照抄这套做法。一段从咳嗽开始的对话，由于模型包含了全部医学知识，可能会滑向任何诊断或治疗的领域。真正的试验必须覆盖所有疾病，涉及成千上万甚至几十万名患者。结果也无法通用：医疗科技发达的波士顿，并不等于几乎没有初级医疗的中国。2020 年，相隔几百英里的两个 COVID 死亡率模型表现完全不同，因为肥胖率、人种构成以及其他患者因素各不相同。

模型本身也不是静态的。Kohane 在 2023 年 4 月使用的 GPT-4，并不是他 2022 年 10 月拿到的那个版本。药物是静态的，所以试验能够为它背书；而一个既是万亿参数的通用求解器、又会与不同医院文化互动的模型，则不是静态的。你可以把它收窄为筛查用途，但那样一来，专门打造的模型就可能胜过它。它的优势在于通用性和语言上的至高无上。Labenz 引用了一项旧的 RAND 实验，该实验让一组人免费就医，并追踪了多年的结果。Kohane 赞许这种怀疑，然后说，即便如此也无法把结果当真。假如给一家医疗系统配备 GPT-4，另一家只配“普通的好医生”，那么任何差异都会被系统本身混淆：营利性或非营利性、学术型或社区型、美国不同的地区。患者和一些医生无论如何都会使用这个工具。双盲几乎做不到。医学并非千篇一律，这既是误差的来源，也是研究单位不清晰的原因。

实习生范式（让它参加与医生相同的考试，通过后就把模型当作持证医生对待）与同样异类的内核发生了冲突。Labenz 和 Kohane 都用了这个词。基准测试依赖于一堆关于人类将如何行动的未经检验的假设。一位六个月后要参加婚礼的癌症患者，可能更看重能否健康地赴约，而不是多活一年的机会。这种取舍需要一场对话。如今的模型既没有这种常识，也没有这种人类根基，因此还无法参与这样的对话。只有亲身撞上这些失误，你才会真正体会到它们有多么异类。

最终的落脚点是搭档范式，Kohane 也称之为共生医学：医生、患者和 AI 三方的会诊。如果不咨询 GPT-4 级别的系统，会不会反而构成违反护理标准的行为？他在培训中记起过一件事，后来被财务压力扼杀了。门诊结束后，团队坐在一起，把每位患者都过一遍，有人会问：你想过这个吗？然后你真的会给患者打电话，改变治疗方案。那种额外的反思改善了护理。如今的类比是：一个始终在线、越来越多模态的模型，聆听诊疗过程，阅读病历，然后问你：你想过这个吗？Jones 太太是不是已经做过那项检查？某种新药的疗效是否是另一种药的两倍，而毒性却更低？

你无法强迫医生跟上文献，甚至无法强迫他们为这位患者去搜索最新的发现。基因组学扩展得很快，以至于有时患者比他们的医生知道得还多。一个在听、在看病历的智能体，就是你给患者额外一层审视的办法：它能提醒你该记住的事、避免错误，并注意到团队中还有谁需要更多关注。Kohane 说，如果做得好，绝对没有哪位医生应当缺少它。他们应当拥有一个细致、完全跟得上最新进展、时刻警觉、却有时会出错的助手，并且要由他们来评估它。如果他自己是患者，他希望自己的医生拥有这样的助手。他认为，能获得同样专业知识的患者，会迫使系统提升水平。

需求的一方，比供给的一方愿意承认的要孤独得多。Labenz 很高兴书中提到了 Replika；它的 CEO 曾告诉他，即便是一个不成熟的陪伴型产品，对孤立的人也意义重大，而随着系统加速发展，这一点现在让他有些害怕。Kohane 则追溯得更远，提到 1970 年代 Joseph Weizenbaum 的 ELIZA，这是一个扮演罗杰斯式心理治疗师的浅层语法解析器。人们把它当作真正的治疗师使用。Weizenbaum 自己的秘书，甚至会锁上办公室的门来进行一次“咨询”。这既令人感动，也相当可怕。他说，年轻的听众不要自欺欺人：有真正健康问题的人，能够倾诉的对象非常少。一次初级医疗门诊，如果你足够幸运能拿到，也只有十到十五分钟；大部分问题得不到解答；下一个号可能要等六个月，到那时情况已经更糟。这种需求是巨大的。与医疗相关的互动，并非可有可无。

第四种范式是先锋：模型能否独立提出可检验的假说，进而推出具有较高试验成功概率的特定疗法？Kohane 的书中说目前还不行，Labenz 也得出了同样的结论。在 Kohane 看来，障碍在于：系统学习的是人类谈论过的东西，有时学得超乎人类。在人们谈论很多的领域，它能做一些理论形成的工作；而在人类谈论不多的领域，那里的新范式需要的数据还没有人描述过，它就束手无策了。这一代模型在语言上至高无上，在科学上却并非如此。

在边缘地带，它仍然可能让你惊讶，因为它把我们集体所知的东西发挥到了极致，即使单个人并不掌握。Kohane 是未确诊疾病网络（Undiagnosed Diseases Network）协调中心的首席研究者，该网络涵盖斯坦福、哈佛、贝勒、杜克等机构。问对问题，做对研究，进行基因组测序，大约 34% 的病例最终能够找到问题所在，并改变患者的人生。他让 GPT-4 分析既有答案的病例，也分析尚无答案的病例。在一个未解的病例中，团队发现了五个基因中的突变，他问模型哪个基因是致病的。模型排名第一的选择，正是团队已经独立验证过的那个基因，验证方法包括果蝇模型，并且与其他在生物学上合理的候选基因作了比较。这还算不上真正的理论形成。它是在已知的边界上工作，把知识聚焦到一点。

在不等待一个大 100 倍的模型的情况下，他最兴奋的是几项渐进式的改进。其一是医院级别的定制：与其微调 GPT（这仍然很难），不如加一组附加的嵌入（embeddings，他提到了一个类似 Pinecone 的框架），让通用模型能够借助这个患者群体、这家医院实践中多维度的发现共现关系。这正是对“波士顿不等于其他每个系统”这个问题的直接回答。另一项是语音。无处不在、能识别多个说话人的语音识别，加上既往病历，可以起草门诊记录，让医生编辑，并把合适的版本分别发送给患者、转诊医生和保险公司。医生已经被变成了文书员，这就是职业倦怠的问题，而他说，把它列为下一步并不需要牵强。

发现是最难的一步。完整的从头理论仍然很难，但有约束的问题（比如在给定 X、Y、Z 的情况下，哪种药物看起来最有效）如果数据正确，可能行得通，而今天的 Transformer 是否足够，目前还不清楚。AlphaFold 已经是一种语言模型，它的语言是氨基酸序列，外加一点物理学，它几乎解析了所有蛋白质的结构，并开始为小分子对接提供参考。DeepMind 正在向大型蛋白质相互作用的方向推进。Kohane 认为，在五到十年的时间框架内，模拟一个细胞将变得可能。在那之前，大约五年内，一家公司应该能够看着一堆癌症或阿尔茨海默病的候选线索，通过把结构模型与医院规模的疾病进展数据相连接，判断哪些最有可能在一期、二期、三期试验中兼具疗效和可耐受的副作用。科幻般的终局，比如一位携带这些种系突变和肿瘤突变清单的癌症患者，要求获得合适的药物，或者要求为她研发合适的药物，他估计需要十到十五年，也可能更早。这不只是扩大规模的问题。

Labenz 以书中一句让他感到意外的话作结：Kohane 相信，患者数据应该直接从患者那里获取，而不是从系统那里获取。那么，AI 究竟为谁工作？是医院、医生、患者，还是某种共享的大脑？没有人知道长远会如何尘埃落定。Kohane 预计，在中期，AI 会与不同的机构对齐：保险公司的 AI、医院的 AI、患者的 AI，每一种都有各自的市场。作为一个人，他希望，也认为最应该得到公众支持的，是与消费者对齐的那一种。

这个逻辑与第二诊疗意见相同。如果他能把数据捐给与自己对齐的模型，他会比把数据交给一个不与自己对齐的 AI 时舒服得多。与把数据交给一个未对齐的机构相比，他更可能告诉自己的医生，可以把病历分享给同事。他多年参与的 Apple Health 项目，如今已连接约 800 家医院，并且每个月还在以数百家的速度增长，因此人们可以下载自己的用药记录、化验结果、诊断、手术、人口统计信息，以及很快就会加入的临床笔记，就像人们已经在重复利用手机相机拍的照片一样。数以千万计的消费者都可以贡献数据。医疗层面的对齐问题还谈不上是文明级别的，但医疗领域充满了相互竞争的对齐目标。他认为，征求患者同意会获得最大的支持，因为患者希望自己的数据用于正确的目的。这是一个关于自主权的问题。在越来越多的病历已经交还到消费者手中的时代，AI 助手应该从我们这里获取数据，而不是从那些可能对齐得不那么好的实体那里获取。