260 位医生与 49,000 条标准：OpenAI 如何打造达到主治医生水平的健康 AI

这档节目（The Cognitive Revolution）通常由嘉宾开场，这一期却由主持人开场。Nathan Labenz 的儿子被确诊癌症，头一个月是三十天的高强度治疗，每件事都像生死攸关，又让人难以判断真假。他每天早上把最新的电子病历导出成 PDF，把同一份材料分别丢给 ChatGPT、Gemini 和 Claude，然后带着三份模型写的分析去参加查房，和主治肿瘤医生讨论。他认为，Karan Singhal 在 OpenAI 的工作（此前在谷歌时也是如此）大大减轻了那几个月的心理负担，也切实帮家人判断自己有没有做对。

Labenz 说，消费者得到的好处高得离谱。即使是美国的特权患者，也很难获得高水平的医学专业知识，放眼全世界，这种短缺更加严重。AI 医生一直被看作大家最容易达成共识的应用场景。几年前他与谷歌 DeepMind 的研究人员交流时，对方还一再强调这些系统尚未完全准备好投入生产。经过三个月的床边使用，他的判断是：它们正在接近这一目标；而任何面临健康紧急情况的人，现在就应该尽可能多地提供背景信息，去用上前沿模型。

Singhal 刚入选《时代》周刊的“健康 100 人”榜单。他大约四年前开始做医疗 AI，2022 年底前后全职投入，正好赶在 ChatGPT 发布之前。在谷歌时，他研究的是表征学习和保护隐私的方法；而这些工作背后，是他本科时就形成的一个信念：通用人工智能（AGI）会在我们有生之年到来，而值得投入的两件事是安全与造福。医疗显然是造福最直接的领域。在 OpenAI，这项工作被看作让公司使命落地的一部分：开发并部署 AGI，防范短期风险和前沿风险，并让那些益处真正实现。

健康团队定下的三个目标，两年前听起来就很有野心，在 Singhal 看来，现在仍然嫌不够大胆。第一个是让医学专业知识更加普惠。第二个是把医疗作为真实场景，让安全与对齐研究落到实处，而不是停留在玩具环境里。第三个是通过合作、产品和政策制定者，带着社会一起接受这项高风险技术，并以迭代的方式推进部署。他说，团队对接下来的事情很兴奋。

Labenz 问，健康方面的工作是否带有一种希波克拉底式“不伤害”的先验，而且这种先验不同于更宽泛的安全议程。Singhal 把这项工作分成三个阶段：先打好安全基础，包括床边态度、面对不确定性时的表现，以及知道何时该转诊；然后是采用率的快速攀升；最后是扩大影响。健康已经是 ChatGPT 增长最快的用途之一。OpenAI 最近表示，每周有超过 2.3 亿人询问健康和养生相关的问题。Singhal 说，这套行为先验并不是一两个人凭第一性原理写下来的。

规定模型行为的一种办法，是坐下来写一份规格说明：在情形 A 下说 X，在情形 B 下说 Y。这种办法容易解释，也容易做到透明，但它并不适合医学。除了“不伤害”，你几乎说不出别的什么；而“不伤害”虽然是一件很好、应当避免的事，却并不能告诉你在大多数情况下该怎么做。OpenAI 的做法，是依靠大约 260 位医生，与他们合作了大约两年，让这群人的集体判断同时决定评测和训练信号。Singhal 指出，评测是所有研究团队的命脉，所以 2025 年 5 月发布的 HealthBench 也是以这种方式构建的，而没有写成一本规则手册。

医生的专业知识分成三层。最上面是非正式的高层顾问，帮忙制定战略和路线图。中间一层人数很多，运作方式很像一个人类数据标注团队，只不过团队成员每天都在 Slack 上和他们交流：比较模型输出、进行红队测试、列出盲点、测试新产品。在 ChatGPT for Healthcare 于 2026 年 1 月 8 日发布之前，这个群体用六个月时间进行了九轮红队测试。金字塔顶端是一小群关系密切的顾问，他们把这数百人的意见转化为研究团队的评测和训练数据。

插播广告之后，Labenz 追问另一种失败模式：医院里的医生太过坚持“不伤害”，连假设性的问题都不愿讨论，对于只是看起来合理的东西也不会去行动。病人常常得为自己据理力争，他儿子的经历里就有异常的血液检查，一开始被轻易忽略了。Singhal 的回答是：既不只挑选那些在严格标准下最站得住脚的建议，也不照搬更敢冒险的床边作风。如果存在三到五条治疗路径而证据又很薄弱，医生为了表达清楚，可能会只保留一条；而模型可以把所有路径都列出来，并把不确定性说清楚。对他来说，衡量和提升这种校准能力，就是在“对早期证据大胆”和“过于保守”之间把握分寸的办法。

Labenz 回忆起 GPT-4 模型卡里那张有名的图：预训练模型校准得很好，而后训练（post-training）让它变差了。这个问题解决了吗？Singhal 说，问题出在测量方法本身。旧图问的是：选择题的答案“A”对应的下一个 token 概率，是否与答对的几率相符。今天的模型在给出最终答案之前，会输出大段推理 token，因此无法再读取同样的对数概率，而“正确”的标准也不再是考卷上的一个字母。

HealthBench 是 OpenAI 用来取代那个单薄指标的工具。它用大约 5,000 段贴近现实的健康对话来给模型打分，这些对话既有普通用户，也有临床医生，评分依据是大约 49,000 条由医生撰写的标准。这些维度包括：模型是否说出了正确的事实，是否在该表达不确定的地方表达了不确定，以及是否在应当的时候建议就医。配套的稳健性指标叫 worst-of-N：让模型采样 20 次，看其中最差的 HealthBench 分数，而不是平均分。即使推理模型每次走的内部路径都不同，这种方法也能衡量它的一致性。

如果用户想多一份保险，Singhal 的建议主要是算力。采样 10 次，再让另一个模型综合出一个“大语言模型（LLM）议会”，效果会稍好一点，这已经很接近 GPT-5 Pro 内部的做法。多花一些推理 token 也有类似效果。他说，回答健康问题时，他会用 GPT-5.2 thinking 而不是即时版，最难的情况则用 GPT-5 Pro。除非遇到非常复杂的情况，他认为大多数人用默认的推理设置就够了。

在他看来，worst-of-N 的图表很有前景。o3 最差的一次采样远好于 GPT-4o 最好的一次采样，而且这个差距还在持续拉大。过去一年里，健康领域的模型进步超过了 ChatGPT 上线以来的几年。可以通过 API 使用的 GPT-5 nano，以及 OpenAI 的开源模型，现在表现已经与当初的旗舰 o3 相近。较新的推理模型在处理常见健康问题时思考得稍少，回答却更好，也就是说单位算力产出的质量更高，而不只是算力更多。

Labenz 问起 Apollo Research 指出的思维链（chain-of-thought）“方言”问题，以及 OpenAI 承诺不对隐藏推理施加过大优化压力的事。Singhal 把思维链的可解释性称为过去两年里值得欢迎的安全进展之一。到目前为止，OpenAI 还没有看到大规模的证据，表明随着强化学习（reinforcement learning）规模扩大，模型会滑向无法阅读的“神经语言”（neuralese）。模型用英语思考，是因为英语是它们的先验，也是利用额外 token 最省事的方式；目前的训练中，也没有任何东西奖励它们变得古怪。他认为，在极端情况下这种事可能会发生，所以避免对思维链施压的承诺依然重要。

HealthBench 有三个版本，分别对应三条设计原则。完整版追求的是有意义：分数提高，人类的健康就应该真的改善。共识版（Consensus）只保留多数医生一致认为适用于该对话的标准，因此值得信赖。困难版（Hard）在不同厂商的模型之间做有对抗性的筛选，挑出当前模型表现最差的样本，同时保持高质量，因此有挑战性。早期那些有意义的医学基准，往往很快就刷到 95% 到 100%，然后就失去了区分度。HealthBench 至今仍未饱和。

HealthBench Hard 是 Singhal 最喜欢的外部基准，他用它来判断一个模型是否真的擅长健康问题。它发布时，GPT-4o 的得分真的是零。此后 OpenAI 的模型已经爬升到 40% 左右，离饱和还很远；竞争对手的模型大多在 20% 上下。全球健康，即根据人口结构、结核病流行率等当地流行病学情况，以及就医可及性进行调整，是这个基准最大的重点，因为 Singhal 认为这正是工作最能产生价值的地方。

一个不太起眼的结果，对研究体系来说可能更重要。这 49,000 条评分细则是由一个模型来打分的。随后医生把这个评分模型与其他医生做了比较，结果评分模型的表现比普通医生的平均水平更好。Labenz 当即指出，这是递归自我改进的迹象。Singhal 说，相对于一次典型医生审阅所能达到的水平，这种评分质量是很高的，而如果评测要以这种规模运行，这正是所需要的。

Labenz 给出了住院头三十天的床边评分。前沿模型在几乎所有问题上都和主治肿瘤医生步步相符，并且明显强过住院医师。他先用 GPT-5 Pro 跑了一遍，又用 Gemini 3 复制一份，再用 Claude 做第三份；这些模型彼此之间的分歧，甚至比它们与主治医生之间的分歧还要小。在大约六次分歧里，事后看医生以大约 6 比 4 占优。失误几乎都是同一种：医生看了孩子的呼吸和脸色，实际上说的是“我觉得他没事”——这是一种 PDF 文件捕捉不到的多模态直觉。

Singhal 指出，Labenz 儿子的癌症并不罕见，治疗方案也已经很成熟，所以主线方案从来不是一道“40% 难度”的题。HealthBench 之所以仍然很难，是因为它衡量的内容不止诊断。模型必须在该转诊时建议就医，又不能用吓人的建议淹没用户；要能适应全球不同地区的背景，在不确定时检索最新证据，并提出恰当的追问——这一点早期的 ChatGPT 在健康场景里几乎从来不做。Labenz 自己也学会了让模型来采访他，甚至指导他做体格检查；较新的模型现在会在这样做有帮助时主动提出。

在 Singhal 看来，子专科之外的文本表现已经很好，包括帮助医生跟上最新证据。现在，OpenAI 每个模型的每个主要训练阶段都受益于健康方面的工作。当前真正的瓶颈在上下文，而不在模型权重：要把正确的病历从医疗系统里调取出来，让模型看到医生所看到的东西。ChatGPT Health 的目标，就是通过连接病历、可穿戴设备和 Apple Health，并加上额外的隐私保护，降低这一步的启动门槛。模型方面的另一个差距在非文本内容上，包括图像和语音；而他希望，最好的医学影像模型，恰好就是人们手边已经在用的那个。

Labenz 想知道，每天用手机拍下儿子躺在床上的照片，是会有帮助还是会添乱，而 GB 级的 PET 和 MRI 数据究竟怎样变成 token。Singhal 不保证一张照片就能改变那些电解质相关的判断，但他总体上希望人们多提供一些上下文。对于巨大的扫描影像，外部研究分成两派：一派是像人类那样，用 Python 把千兆像素的病理图像切开分析，或调用专门的编码器；另一派是像处理普通图像、视频和音频那样做原生 token 化。生物医学有大量长尾模态，因此他预计最终会是两者结合的混合路线。Labenz 提到斯坦福的一项研究 SleepFM：它只用一晚睡眠中六到八种容易测量的模态，就能预测许多疾病，他认为这说明这些权重空间已经开始汇合。

床边态度、记忆，以及 N-of-1（单个个体）的背景，构成了一个任何团队都无法完整列举的评测面：数亿用户，各不相同的记忆、工具和系统提示词。OpenAI 的应对是分层的。HealthBench 和其他评测在上线前运行；线上流量则在保护隐私的前提下接受监控，用针对健康和前沿风险的分类器进行筛查。一篇关于敏感心理健康对话的博文显示，这些评测确实在跟踪真实使用情况。缺失的中间一环是真实世界研究。OpenAI 与肯尼亚的 Penda Health 合作，开展了 Singhal 所说的第一项针对临床医生的大语言模型 copilot 真实世界研究：医生在电子病历系统中打字时，一个 AI 安全网会标记出有趣、令人警觉或可能有误的内容。使用了这种 copilot 的医生，其患者在诊断和治疗结果上取得了统计学上的显著改善。

Labenz 认为，个人对隐私的看重可能有些过度了；GitLab 的 Sid 把自己的癌症生物学数据开源，正好是另一个极端。他讲述儿子的经历，主要换来的是专业知识和人脉连接。Singhal 没有否认这种担忧。十年前，在《21 世纪治愈法案》出台之前，大多数患者根本没有可行的办法查看自己的数据，更别说控制了；如今也只好了一点。ChatGPT Health 的目标，就是降低连接病历的启动门槛。那个反直觉的承诺是：接入的数据一概不用于训练基础模型，理由有两个：一是基础模型已经足够强，这不是最重要的改进路径；二是 OpenAI 不希望人们拿隐私去换取实用性。

ChatGPT 本来就做了加密；ChatGPT Health 则额外增加了专门设计的加密，并将健康数据与其他对话、记忆和应用隔离开。健康对话可以利用用户其他上下文的信息，但普通的 ChatGPT 对话不会读取健康档案。这种隔离是随 Health 产品一起推出的新功能。Singhal 说，ChatGPT Health 不会有广告；公司希望把健康影响方面的工作与其他利益动机清楚地区分开。这款产品免费，并提供一个不限速的推理模型——这不是默认路径，在 ChatGPT 的其他地方也用不到。Labenz 称之为“基础智能普惠”（universal basic intelligence）的早期形态。

Singhal 补充说，随着模型变得更聪明，你自己收集的数据会变得越来越有价值，所以“如果有过什么时候该买块手表之类的设备，我会说就是现在”。Labenz 就是因此买了一块 Whoop，他现在衡量 AI 是否成功的标准，是自己久坐的时间更少、活动的时间更多。他在不设系统提示词的情况下做的“试用点评”是：Gemini 3 的观点最鲜明，最容易推动他去替自己据理力争；ChatGPT 写得最长，最像临床报告；Claude 居中，比 ChatGPT 简短，比 Gemini 克制。Singhal 说，近期的模型，尤其是 GPT-5.2 thinking，经过训练和评估，会判断用户是临床医生还是普通人，并据此调整术语和细节深度。他很高兴有竞争对手入场，因为要推动公众对信任的奥弗顿窗口（Overton window）发生移动，这件事对任何一家公司来说都太大了。

Labenz 问，如果 OpenAI 真的不需要用户接入的病历，那训练数据从哪里来；他还提出一个他称之为“AI 与尝试权”的社会契约设想：让患者去尝试那些模型已经能为之辩护、但尚未被证实的疗法，作为交换，再把结果反馈回社会的知识体系。Singhal 说话很谨慎。数据总是有帮助的；选择不用 ChatGPT Health 的连接数据做训练，是出于推出节奏和信任的考虑，并不是说模型已经用完了数据。他不想为了收集数据，而让那些原本根本不会连接病历的人更难迈出第一步。

他说，更深层的问题是碎片化。患者能获取的途径有限，能控制的范围也有限；HIPAA 仍然允许数据在不需要本人同意的情况下流转。患者从另一个系统转来时，医生很难拿到完整的情况。研究人员的处境更糟：很多临床试验在得出结论之前就失败了，失败的主要原因是招不到符合条件的患者，而当数据分散在各处时，资格能否符合根本无从判断。如果未来的情况是：患者掌握自己的数据，医生在获得同意后可以使用，研究人员还能在患者额外同意后让其加入研究，那科学的上限就会提高。临床试验的证据标准已经久经考验，但减少碎片化仍能让科学前进得更快。

在医院一线，Labenz 看到的仍然主要是不了解、偶尔的怀疑，以及医生一旦听到一个好的回答就迅速转变态度。他想知道医学界会不会抱团关上门。Singhal 说，消费者的奥弗顿窗口移动得比医生群体更快，尽管在新产品推出之前，每周已有超过 2 亿人用 ChatGPT 询问健康问题。许多医生第一次接触 AI，是通过患者打印出来的材料，而不是通过为他们专门设计的工具。Singhal 在谷歌和 OpenAI 都发现，改变人们想法最有效的办法，是把这项技术直接交到他们手里。

ChatGPT for Healthcare 在 ChatGPT Health 发布的次日宣布，是面向行业的对应产品：符合 HIPAA 要求，支持医学指南检索和企业写作工作流，首批与八家美国领先的医疗机构合作推出。涌入的需求已经超出了团队的承接能力。Singhal 说，抵制情绪远比预想的温和，因为很多医生已经自己或为家人用过这些工具；和医院高管交谈时，你立刻就能分辨对方用没用过。真正的阻力来自根深蒂固的工作流程。在 Penda，光是交付 copilot 还不够，他们还得主动推进变革管理，把临床医生召集起来学习这个工具。团队今年的目标之一，是让 AI 辅助医疗成为常态；Singhal 不认为这会在几周内发生。

Singhal 投身 OpenAI 的健康工作，部分原因是两年前许多雄心勃勃的安全研究还困在数学题和玩具式环境里，反馈回路很弱。医学则有真正的专家、真实的成本，还有一种并非假想的可扩展监督：在一些狭窄的方面，模型已经超过了医生，因此给它们打分和训练的医生，实际上已经在监督一个比自己更强的东西。这促使团队转向评测，以及用大量算力进行的强化学习，让模型从专家意见的汇总中学习。随着模型获得更多上下文和行动能力——比如为医生写一份笔记，为患者制定一份计划——长期问题就变成了品格：这是一个会为患者、临床医生或研究人员做正确事情的模型吗？

健康团队一直在做精细的人格提取：保留医生性格中有用的部分，丢掉不需要的部分，包括在医学共识不明确时过度保守的倾向。Labenz 问，考虑到强学生无视弱老师这类结果，早年的“超级对齐”（Superalignment）设想是否仍然成立。Singhal 现在把这个问题拆成两部分。评分者扩展（rater scaling），是从人那里引出意见和价值观，包括让 AI 帮助人类批评 AI 的方案。价值监督，则是把这些价值观拿来，投入大量算力去训练进模型中。从外部看，这更接近普通的后训练，和当初那句口号已经不太一样，他认为这是件好事。

判别能力（discrimination）仍然比生成容易：只要掌握思维链这类特权信息，模型对自己的监控能力就好得出奇，RLHF 和宪法 AI 背后也是同样的不对称。对齐的泛化能力在推理规模上带来了令人惊喜的表现，此前它先在预训练和指令微调中出现，包括早期的 Med-PaLM 工作。随着能力和应用面急剧扩张，各代模型的失败模式发生率却在下降。这两条曲线最终如何合拢，Singhal 不会假装能预测。Labenz 自己的推断是一个古怪的 2028 年：模型能完成一个月的人类工作量，而在某一次运行中，它仍有极小的概率以某种离奇的方式坑到你。

医学版的“第 37 手”会是什么样子？就是 AlphaGo 在对阵李世石时那步连人类都不会下、事后看却极其精妙的棋。Singhal 认为它离我们并不遥远。已经有人告诉他，他们先看了几位医生，然后 ChatGPT 指出了一个点，他们修正了原来的判断，最后一起得出了诊断；这算不算“第 37 手”，他说那是“见仁见智”的事。他更感兴趣的是健康领域的世界模型：对你本人、你的健康轨迹，以及这些与生物学的交汇，有更深入的把握。完整的数字人体（in silico）模拟成本高昂，也不是当前模型的设计目标；而在拥有大量上下文的情况下预测某种干预的结果，属于模型的分布内（in-distribution）任务，而且正在变得越来越好。团队的使命通过三条路径来实现：帮助消费者理解自己的健康状况；让 AI 辅助医疗成为标准，并把临床医生从繁重的文书工作中解放出来；以及抬高研究的上限。他还指出，在生物学领域，许多突破本来可以早五到十年到来，并没有物理上的障碍，缺的只是把人类的巧思用在数据上。