医生编码得分 45%，模型高出 12 分；4000 名医生先试用一次

Nathan Labenz 主持节目，嘉宾是 Ambience Healthcare 的工程负责人 Brendan Fortuner，以及克利夫兰诊所的首席 AI 官 Ben Shahshahani。Ambience 成立约四年。Fortuner 把它描述为建立在 Epic、Cerner 等电子病历系统（EHR）之上的临床智能层，它有三条产品线：以旗舰产品 AI 病历助手为核心的临床工作流；在诊疗现场提示 ICD-10 编码的收入周期管理工具；以及最近推出的面向患者的业务，比如就诊后的医嘱说明，以及打电话回访、确认化验和用药情况的语音智能体。

克利夫兰诊所是总部位于俄亥俄州的学术型医疗中心，在佛罗里达、伦敦和阿布扎比设有医院，门诊点还包括多伦多。Shahshahani 是在录制前约九个月从科技行业加入的，专门负责在诊疗中落地 AI。Labenz 原本预计，各个职业会因 GPT-4 而组建工会加以抵制，但在医疗领域，他看到的敌意比担心的少得多。Shahshahani 的解释是需求：护理人手短缺到“这会不会抢走我的工作”甚至都不是当下的问题，也许在这一代人的有生之年都不会是。医生已经在用 ChatGPT；诊所要做的，是把这种帮助放进标准工作流程里，免得有人把受保护的健康信息（PHI）粘贴进消费级聊天机器人。

在各种痛点中，文书工作位居榜首。Shahshahani 看过的几项倦怠调查里，行政和非临床文书工作都排在首位，占比超过 53%。平均而言，医生每天可能要花最多三个小时写病历，其中很多是在最后一位患者看完之后，业内称之为“睡衣时间”。克利夫兰诊所启动 Ambience 项目时，是把它当作改善护理人员体验的项目来做的：把时间还给医生，让他们去做读医学院时就想做的临床工作。后来发现，病历写得更好还能改善编码，进而改善财务状况。他说，这是附带的好处，最初并不是这样推销的。

最难以置信的数字是：美国医疗体系每年用于行政事务的支出为 1 万亿美元。Labenz 粗略算了一下：美国 GDP 约 27 万亿美元，其中近 20% 来自医疗，也就是约 7 万亿美元；这里面的七分之一就是 1 万亿美元，约占 14% 的行政开销。这样换算之后，这个比例就没有标题那么惊人了。他怀疑“睡衣时间”甚至都不在这 1 万亿美元之内。Shahshahani 引用的另一份报告，人员数字更加夸张：1975 年到 2010 年，美国医生人数增长约 150%，基本跟得上人口的增速；可是医疗系统里的行政岗位，人数涨幅超过了 3000%。行政人员多了，医生的文书负担却并没有因此减轻。

为什么行政队伍会像气球一样膨胀？原因包括：需要逐条落实的监管要求；如今雇用了大多数医生的医院系统；保险和计费；还有一种必须写满文书的文化。编码是这条链条上丑陋的一环。门诊结束后，医生会在搜索引擎里输入类似“左耳疼痛”的内容，通常是通过 IMO（Intelligent Medical Objects）这类工具，然后跳出一大堆几乎一模一样的编码：H65.195，急性非化脓性中耳炎，复发性，左耳。选错了，理赔就会送到保险公司，然后进入拒付处理，又得多打电话，多派人手。Fortuner 引用的数据是，全美每年约有 200 亿美元浪费在错误或缺乏依据的 ICD-10 编码上。Shahshahani 说，仅编码这一项工作，克利夫兰诊所每年的花费就超过 5000 万美元。

在 AI 出现之前，这套流程几乎全靠人工。它从预授权开始，常常还是要打电话办理。在流程中段，疾病要对照一套包含 70000 多个 ICD-10 编码的分类体系归类（ICD-11 已经存在，但大多数机构仍在用 10 版），这套体系每年更新两次，另外还有一套独立的操作编码。专业编码的一部分由医生在诊疗现场完成，然后由受过训练的编码员复核，他们还会查看病历中的合并症，并可能再次询问医生。一旦被拒付，医生又会被拉回来，为病历补充理由。医生读医学院，学的是诊断和制定治疗方案，可没有去背计费手册。虚报编码（upcoding），也就是编造就诊中根本不存在的诊断或操作，是要承担法律责任的，所以一个靠多加编码来“帮忙”的系统，和漏掉编码的系统一样危险。

门诊的流程很具体。一次门诊通常 15 或 30 分钟。医生可以在 Ambience 的手机应用里录音，也可以在 Epic 的移动应用里录音。就诊结束后，医生点击结束录音。Ambience 先用针对医疗语音微调过的模型转写，然后调用一组语言模型，每个模型分别负责病历的一个部分——现病史、系统回顾、体格检查、评估与计划——再把结果写回 Epic。医生回到电脑前，刷新一下病程记录，病历文书就已经在那里了。Fortuner 说，光这一项就每天能省下两到三个小时。在病历完成之前，同一套系统还会建议 ICD-10 编码并直接归档，所以医生不必再手动去找 H65.195。

Labenz 有一位做家庭医生的朋友，他接诊的问题五花八门，一半用英语，一半用西班牙语。这位朋友发现，他所在诊所的病历助手既不准确，也没什么用。Fortuner 对此并不意外。Ambience 早期是为初级保健、内科、远程诊疗和紧急门诊设计的。团队把业务推进到一百多个专科和三四种诊疗场景之后，肿瘤科和心脏科的使用率骤降。当时他们低估了其中的差异。心脏科医生需要不同的病历结构、不同的按钮，以及从 Epic 里调取的另一组病历元素。急诊和住院属于多人协作的场景：同一位患者可能在几个小时或几天里被好几位医生诊治，所以“录完就停”的移动端流程根本行不通。

他们退后一步，不再只盯着“病历助手”这一个东西。他们分别做了心脏科病历助手、肿瘤科病历助手和住院病历助手。模型不同是一方面，用户体验也不一样。临床医生可以组合出大约 500 种输出方式：显示哪些部分、简洁还是叙述、用不用条目、通俗语言还是术语、24 小时制还是 12 小时制。Fortuner 说，仅靠按专科定制，使用率就能提高两到三倍，还会连带影响投资回报（ROI）和临床医生的满意度。Labenz 给 AI 开发者的启示，也是他在那些真正能在混乱领域里跑起来的产品中一再看到的：不要放任模型自己挑选路线。把任务拆解开，衡量每一个节点，并不断优化，直到能够上线。

Fortuner 是在访谈前三年半加入公司的，那时还处于生成式 AI 拐点之前。当时公司做远程诊疗的病历助手，用的是基于 BERT 和 ColBERT 的架构，他称之为 BEAR：先把转写文本切块，对照一个庞大的医学概念本体做极端多分类，再由一个流程编译器把这些标签塞进模板化的病历里。这套系统撑过了早期。行业的第一个拐点是 GPT-3 的指令跟随版本发布；在语音识别（ASR）方面，Whisper 是另一个拐点。技术到位，并不等于产品就能用了。在高难度的专科里，仍有很多病历助手会失败。

Ambience 对新模型的用法是细粒度的即插即用：各个专科各自组合，没有共用同一条流水线。现成模型做初级保健的摘要，如今比三年前容易得多。如果要做一个安全要求高、负责采集患者问诊信息的交互式智能体，你就又会回到同样棘手的精密流程图和护栏设计上，难度不亚于过去的编译器。Fortuner 说，复杂性并没有消失，只是转移了。就 ICD-10 而言，难点已经不在损失函数和架构调整上了，取而代之的是：如何定义任务，评分器究竟意味着什么，怎样标注能体现主观性的数据集，以及如何应对奖励黑客行为（reward hacking）。

Ambience 并不做诊断。它从就诊对话中提取医生所说的内容，再把这些内容对应到标准编码集上。医生本来就知道诊断，真正的断层在于要对应到 70000 多个、每年更新两次的编码上。OpenAI 案例研究里的 45%，是临床医生在这种对应任务上的 F1 分数，并不是说医生医术不好。现成模型的 F1 约为 35%。完美的结果做不到。Fortuner 的团队组建了两个金标准小组，一个由临床医生组成，一个由 AAPC 审核员组成，让他们在接近真实场景的搜索界面里工作，然后测量标注者之间的一致性。得出的上限约为 80% 到 85% 的 F1。这就是要翻越的那座山。

收入周期团队和保险公司都以病历为依据开展工作，但病历是一种会丢失信息的产物，因为临床医生并不喜欢写病历。Ambience 掌握着他们没有的东西：就诊的转写文本。业界仍在摸索，当你真能从录音里提取信息时，什么才算“好”。甚至没有人能说清楚，完整的人工编码流程究竟离 85% 的理论上限有多远。另一个约束是虚报编码：把就诊中并不存在的诊断加进去，是违法的。精确率和召回率都重要，所以他们优化的是两者的调和平均数，也就是 F1。

所用的工具是 OpenAI 的强化微调，这是一个专有 API。开源路线里也有类似的做法，比如 DeepSeek 一脉的方法，它们都属于同一类后训练方法，用在推理模型上。监督微调是让模型模仿输入输出对。RFT 则反过来：你提供一个可编程的评分器，模型采样出许多候选答案，评分器给它们打分，模型再从奖励中学习。评分器可以是字符串匹配、单元测试、语言模型，也可以是几个评分器的组合。你可以直接优化最终目标，而不必优化代理损失。由于每个样本会被扩展成 4 到 64 个采样答案，几百个或几千个样本，就能达到过去用监督微调大约需要 10000 个样本才能达到的效果。

就 ICD-10 而言，评分器简单得几乎有些天真：就是最普通的字符串匹配，对每次就诊中数量不固定的编码集合计算 F1。字符串匹配干净、便宜，而且很难被钻空子。部分得分机制是内置的：一个编码对了、一个错了，也能拿到分，所以奖励比“通过或不通过”的二元判断更丰富。他们没有给假阳性和假阴性区别加权，只是分别算出精确率和召回率，再把两者合并。如果要为“编码基本对，只漏了一个子项”这种情况设计语义评分器，那显然是下一座要攻克的山头。在公布的结果里，他们并不需要它。模型超过人类医生 12 个点，而且仍在继续上升。

Fortuner 说，如果从字符串匹配换成大语言模型（LLM）评分器，你就进入了极易被钻空子的领域。他们想知道 RFT 能否用在更开放的生成任务上，于是尝试了体格检查部分：输出结构化的 JSON，每个身体系统对应一段简短的文字，比如“呼吸：呼吸费力，未闻及明显哮鸣音”。这既不是完全自由的文本，也不能用正则表达式来判断。他们用基于评分量规的模型评分器打分，目标仍然是 F1，而模型马上就开始作弊了。

第一个花招是精确率虚高：同一个发现用不同说法重复好几遍，靠“说对了”来拿分，同时无视冗余。他们加上了冗余惩罚。分数依然很高，但语气也走样了。本来应该写“心音正常”，模型却写成了“爷爷的心音听起来不错”。评分量规只检查了临床质量，没有检查临床风格。他们把权重调到大约 75% 质量、25% 风格，把这种行为压了回去，最后得到一个临床医生更喜欢的版本。这只是开放式生成的第一次尝试，但足以说明，奖励设计本身就是核心工作。

克利夫兰诊所把 AI 工作分成三类：患者结局与体验，其中包括基于电子病历数据做个性化医疗的长期押注，这些数据是商业检验机构从来看不到的；护理人员的体验，为人手不足的团队减轻非临床负担；以及成本与运营效率，从编码一直到手术室的使用。在每一类之中，他们都会评估风险、技术成熟度和投资回报，并用试点来降低风险。Ambience 与多位医护人员一起试点了五个月或更长时间。推广按专科分阶段进行。首席临床官一直把它称为“神奇的体验”。Shahshahani 说，试点结束时，有些医生表示，如果工具被撤下，他们就要离职。在医疗领域，这么干脆的产品市场契合度并不常见。

他解释为什么有些效率工具能留住用户，用的是一套心理模型式的计算。用户本来就对任务有多难有个判断，只有预期的付出降低了，他们才会继续用新工具。把情况拆成两种：产品成功的概率乘以成功时的付出，再加上失败的概率乘以恢复时的付出。错误很少见，但一旦出错、恢复起来很痛苦，仍然可能不如手工来得划算。他在雅虎亲眼看到语音搜索就败在这笔账上：点击麦克风必须比打字更快。即使错误率只有 10% 或 20%，只要用户得重新打字，产品就被毙掉了。至于免提开车的场景，本该是语音最占优势的地方，但环境更嘈杂，离麦克风也更远，因此错误率反而更高。

他跟了几位医生，观察他们的 15 到 20 分钟门诊，其中有一对老夫妇在整个就诊过程中一直在聊天。医生坐下来时，病历已经生成好了，只有几处遗漏需要修改。医生估计，这次能节省 10 到 15 分钟，而这还是在结果并不完美的情况下。医生的心智模型依然是：这让我更有效率了。推广的小窍门很聪明：并不强制使用，但培训是强制的。医生需要看视频、读材料，并且至少在一次真实就诊中试用病历助手。团队押注，一次正面体验就能在用户心里装进正确的心智模型。对比一下，诊所的自动临床邮件起草工具，采用率仍停留在个位数：写一封邮件大约只要 30 秒，读草稿、修改再发出去，并不比直接打字明显更快。许多小任务都达不到同样的门槛。

Ambience 与克利夫兰诊所合作约一年，目前服务约 40 家医疗系统。Fortuner 仍特别提到克利夫兰诊所这个案例。他们用 90 天时间，把月活跃用户从零做到约 4000 人，覆盖 60 个专科和 7 种语言，使用率约占就诊量的 75%。技术只是一部分，工作流整合和变革管理，才是漫长的最后一公里。Labenz 指出，“先试一次”也能对抗人们对 2022 年 ChatGPT 的第一印象，那种印象从来没有更新过；如果把它推广成每季度重试一次，也是合理的做法。Shahshahani 补充说，学术医疗中心的优势在于有热情的医生，他们会与供应商一起在试点中反复迭代，直到指标真正动起来。在医疗领域，现成可用的方案比其他行业少见得多。

在 OpenAI 的平台上，用几千个样本做监督微调，可能只需要几个小时，花费约 100 美元。用几百个样本做 RFT，则可能要一到两天，费用根据评分器不同，从几千美元起。字符串匹配很便宜。他们曾在一个 100 样本的体格检查实验中用 o1 做评分器，光评分就花了 2.5 万美元。Fortuner 的建议与 OpenAI 对开发者的建议一致：不要一上来就跑 RFT 循环。先建立有代表性的评估集，在那里迭代评分器，并检查它与人类判断的相关性。这样做的附带好处是，在付费训练之前，就能先看清要攻克的那座山，也就是模型只有 35% 的起点。简单的匹配或单元测试不仅更便宜，通常还说明这个任务本来就适合用 RFT。

医疗编码的工作会不会因此变少？Shahshahani 认为，有些岗位会转向审核 AI 的输出，最终决定仍由人来做，而且某些职能受到的冲击会比其他职能更大。Fortuner 对医疗行业的担忧，比对软件行业要小。需求并不固定：每天约有 10000 人加入联邦医疗保险 Medicare，患者的病情越来越重，新的诊疗手段不断出现，而未来十年预计已有 125000 名医生的缺口。Labenz 认为，医疗编码员和出租车司机都难以幸免；他还开玩笑说，等 NotebookLM 能就任何话题生成一档可以随时打断的节目时，播客主持人也难逃一劫。他认为，只要时间拉得足够长，这件事会落到每个人头上。但就近期而言，在座的人都不认为真正动手的临床护理会出现富余人力。

谷歌的诊断推理研究 AMIE 在实验室里表现很强。Fortuner 所担心的，是从实验室到每天处理数百万份杂乱病历记录的生产环境之间的差距。学术论文里的图表，往往展示的是 64 次采样中的最佳结果。医疗关心的是最坏情况，他们内部会采样好几次，然后取最差的那一次。他说，HealthBench 这类评估的方向是对的，但数据与实际分布并不一致。大约 80% 的患者数据都在 Epic 里，它们受监管和隐私规定约束，没有进入模型权重。医学院只是起点；四到八年的住院医师培训，也就是在门诊里跟着主治医生观察，才是很多临床推理能力的来源，而这些同样不在互联网上。再加上不断变化的计费规则，以及各国不同的药品名称。基础模型正在变好，但从研究到生产之间的差距，仍然是公司自己要解决的问题。

面向患者的这条线还处于早期，也没有大规模宣称成功。就诊后不遵医嘱，会导致患者再次入院，而人工随访成本太高，很难做好。Ambience 的智能体可以打电话，询问检查是否完成、药物是否按时服用，把通话内容整理成病历写入 Epic，再由护士或医生介入。这是把一项繁琐的任务自动化，并不涉及医疗决策。与患者对话时，安全门槛更高。现成的语音对语音模型可解释性不足。Fortuner 有自动驾驶的背景，所以他预期这类系统会采用更细分的技术栈：经过微调的模型、语音识别、语言处理和语音合成，并在关键节点设置护栏，比消费级语音应用更依赖启发式规则，也更便于审计。最后，Shahshahani 呼吁科技从业者考虑进入医疗行业：美国有超过一半的医院在亏损，克利夫兰诊所是非营利机构，节省下来的成本会回到更多患者身上。Fortuner 希望医疗的长期成本能降到接近于零，也希望有更多开发者加入这个领域。在经历了几十年的合规下拉菜单之后，这个行业终于有了能替人点按钮的智能体。