每小时 9 美元的 AI 护士、86 分的医学考试成绩，以及 10% 的灭绝线

Nathan Labenz 平时的 Cognitive Revolution 节目，多半是与研究者和开发者做长访谈。这一期则是他最初在一场散户投资人的活动上做的报告，听众多是医生和律师：快速梳理医疗领域的最新进展，解释系统是怎么做出来的，讨论该如何看待资本（他特别声明这不是投资建议），以及这一切可能对社会产生什么冲击。节目开头提到了联合主持人 Eric Torenberg，但这一小时都是 Labenz 一个人在讲，没有嘉宾。

他还愿意做这类演讲，最好是远程，因为家里有三个小男孩。除了 Waymark，他还透露了几项新工作，包括担任 Athena 的顾问。新成立的咨询与实施公司 Stellus AI 主要服务 50 到 1000 人规模的企业。Stellus 的第一个项目，是一家管道配件供应商，其几十年积累的纸质目录堆满了一整面大书架，工作是让这些库存真正能被找到。他还打算做一个面向过往嘉宾的小众招聘板，目前 Elicit、Athena 和 Stellus 已经在上面招人。

他不愿意打比方，因为他认为 AI 和 DNA、自然选择一样根本，离开这些概念来讲，很多东西就说不清楚。他会用字面意义去描述电路、损失和规模化，力求尽可能简单，但又不能出错。这一小时的两个数字首尾呼应：每小时 9 美元的 AI 护士，以及一项调查——近期顶级会议的作者中有 48% 认为人类灭绝的概率至少为 10%。按他的说法，这两件事现在都是真的。

他说，要持续关注能力的变化，因为底线已经往上移了。从 2022 年年中起，最好的 AI 系统在一般任务上胜过普通人已经成了事实：找一件典型的白领电脑工作，分别交给一个普通实习生和模型，模型会赢。这个状况已经持续了将近两年。下一层是在常规任务上达到专家水平。这里的常规，是指常见的、大家清楚什么才算做得好的工作，比如医学上的诊疗标准。

这种速度仍然让他惊讶。GPT-2 在 2019 年发布，他是在医院里读到的，当时妻子正要分娩，儿子如今刚满五岁。五年后，GPT-4 在 MMLU（一组覆盖多个学科的本科和研究生水平考题）上平均得 86 分，这已经逼近各自领域的人类专家。如果让同一个人把每个领域的考试都考一遍，GPT-4 会明显更强。

医学方面的曲线更陡。通过美国执照考试的及格线大约在 60 分出头。谷歌的 Med-PaLM 是第一个相当明确通过考试的系统，时间是 2022 年 12 月；Med-PaLM 2 在 2023 年 3 月拿到了 86%。在一项九个维度的正面比拼中，医生评委在共识、阅读、记忆和推理等优点上更偏爱 AI。AI 唯一多出现的缺点，是提出不准确或不相关的信息；其他缺点则是人类更常犯。在鉴别诊断上，与基层医生相比，AI 在精确匹配和更宽松的 top-k 标准下准确率都更高。Labenz 的个人看法是：如果他有某种真正让他担心的病，他不会不找 AI 医生，也不会不找人类医生，两边都要参考。

有两个应用，他认为没怎么引起注意。虚拟组织染色，可以把原本要花好几个小时、对手术室来说太慢的活检流程，变成几秒钟内出图，让正在切除肿瘤的外科医生实时看到染色结果。读心术的字面意义，也比多数人以为的走得更远：用 fMRI 数据训练的模型，能重建一个人正在看的图像；解码一个大脑所需的扫描数据，已经从 30 到 40 小时降到大约一小时。他说，如果小时候听到这个，自己大概会当成大新闻。如今它只能得到几次转发。

来到我们面前的系统，并不是大家预期的那种。人们原本预测，AI 会先替代低薪、低地位的劳动。结果却是，医生和律师先感受到了冲击，而俗话说的水管工或楼宇保洁却还没有。有一项研究把工作按工资和地位分成五个五分位，发现第四个五分位的暴露程度最高。把曲线下方的面积看作 AI 似乎准备好要做的工作，外面的面积则是它做不了的工作。粗略地说，约一半的人有约一半的任务落在范围之内。他认为，社会会在很长时间里都在适应这种错位。

商业化已经开始按劳动力市场的价格报价。Hippocratic AI 按小时收费，每小时 9 美元，它的 AI 护士像软件一样可以规模化、可复制，计费却是按班次来算的。哪怕有上面那些正面比拼的结果，公司也刻意不去做诊断。它押注的是护士们在做、或者因为没时间而没人去做的随访工作：术前电话、出院指导、用药检查，以及一句“感觉怎么样”。软件的可复制性加上按小时计的工资，他说，这种组合以前基本不存在。

一旦遇到非常规的事情，它就停下了。AI 能做新科学吗？总体而言，目前不能。AlphaFold 这类专门为特定目的打造的窄系统是例外，而且它们很重要。通用聊天系统在处理新奇、陌生的情况时力不从心，那种需要有人第一次去琢磨出办法的场景，它们应付不来。Labenz 过去把这一点概括为“没有灵光一现的时刻”，现在他得改成“寥寥无几”。

有一个例外：一只机器人手用强化学习学会转铅笔。训练初期，智能体需要一个奖励函数，也就是告诉它做得好不好的分数。写这样的函数是专家的工作，街上的普通人连这句话都读不懂。他说，GPT-4 写机器人奖励函数的水平，明显好于做这件事的人类专家。这样的事情并不常见，但足以改变他的结论。

还有第二个例子，它的影响仍在显现。一个类似 ChatGPT 的模型，用细菌和噬菌体的 3000 亿个碱基对 DNA 训练，能生成新的类 CRISPR 复合体。研究人员还可以扰动这个模型，观察它变得多困惑，并以此作为计算机内的测试，判断哪些基因对细胞存活至关重要。原本这是一个繁琐的湿实验过程，现在只需几秒钟。他提到，这是最近几周的事，它在各领域的影响才刚刚开始。

核心的投入是数据、算力和算法，三条腿缺一不可。所有这些系统都是信息处理电路，灵感来自神经解剖学，却又不太像。它们是单向的、可微分的，逐层向前推进，没有大脑那种循环的相互交流。一个简单的例子，是从原始像素中识别一个手写的 7，直到正确的输出亮起。为了帮助理解，他推荐的是 3Blue1Brown 的可视化，没有用比喻。

学习依托于损失函数，也就是对输出的打分。权重通常一开始是随机的，所以第一轮结果一塌糊涂。然后反向传播（即微积分的链式法则）会去问每一个参数：把它往上调或往下调一点，分数会不会变好。在 GPT-3 规模的网络上，这个问题要问 1750 亿次。把这个过程循环起来，就是梯度下降，沿着损失曲面一路走向更低的损失。系统必须可微分，而且你得有一个打分标准。这就是核心，其上再叠加许多具体的工程细节。

过去的玩法，是用小而精心整理的数据集，比如 MNIST（带标签的手写数字），再切分成训练集和测试集。训练得够久，训练损失会一直下降，而验证集的结果却越来越差：这就是过拟合，模型记住了不能泛化的细枝末节。真正的突破来自巧妙的损失函数，它能把没有标签的网络规模数据变成训练信号。下一个 token 预测让所有文本都能用，因为文本本身就是答案，而可能的输出有 50,000 到 100,000 种之多。图像去噪则是人为加入噪声，训练模型把它去掉，这样所有图片都能用。他怎么强调这一转变的意义都不为过：从有标签的数据集，转向无监督、自带答案的数据。今天每一个大规模系统，都建立在它之上。

算力之所以重要，是因为 GPU 能大规模并行，你就不用依次去问 1750 亿个上调或下调的问题。占主导的电路是 Transformer。他列了一份术语表：token、嵌入（embedding）、神经元、激活、注意力、MLP、非线性、参数、logits、前向传播，因为人们很容易在这些词里迷失。然后，你还需要一套算法，把数据和算力变成真正能用的东西。三条腿缺一条，凳子就立不住。

缩放定律关心的是：给定预算，系统能做到多好。总有一种帕累托式的取舍：更大的模型每个 token 的成本更高；更小的模型能看到更多数据，但学得更慢；每一种算力预算都有一个最优点。一项 6×10^18 FLOP 的研究在今天已经算很大了，但仍比白宫的报告门槛 10^26 低了八个数量级。这些小规模曲线让实验室能预测损失、确定参数量和 token 数，再倒推出账单。据报道，GPT-4 在 10 万亿个 token 上训练，算力花费是数千万美元，还不算工资和数据。据传 GPT-5 的目标是 100 万亿个 token，以及几十亿美元的算力。

比账单更让他不安的，是模型学会了没人让它学的东西。OpenAI 早期用亚马逊评论训练过一个小型的下一个字符模型，发现它有一个神经元，对好评亮起，对差评强烈负向。单独拎出来看，它本可以是业界最先进的情感分类器，而情感从来不在损失函数里。OpenAI 的 Greg Brockman 说的那句话，是 Labenz 希望大家记住的：语义从句法过程中涌现出来。一个只见过 F4 这类走法列表的 Othello（黑白棋）模型，在内部构建出了一个二维棋盘。视觉网络会长出窗户、车轮和汽车的检测器，没有人规定过。高阶的、人类能识别的概念，就从纯粹的句法训练循环中自然浮现。

顿悟（grokking）在时间上说明了同样的道理。在模加法任务上，模型先是死记硬背，验证集变差，按老规矩这时该停下来了：已经过拟合。有人把训练一直推到接近一百万步（在对数尺度的横轴上），结果网络突然泛化了。逆向工程显示，它用的是一种“外星式”的算法，靠正弦、余弦和傅里叶旋转来计算，没有人会这么做，但它很可靠。损失可以用缩放定律来预测，但某种具体技能何时从死记硬背转为通用算法，却预测不了。这就是为什么他把“某些能力仍然难以预测”视为 GPT-4 技术报告里最重要的一句话。逆向缩放竞赛甚至找到了一些任务，包括后见之明忽视（hindsight neglect），这些任务在好几代模型上都变得更差，到了下一代却又顿悟到完美。

它们可以达到人类水平，却不一定像人类。AI 的优势在于广度：读过整个互联网，会说各种语言；再加上至少 10 倍的速度、通常低 90% 的成本、可以并行、可以复制，还能 24 小时待命。有一篇标题大意为“自然选择青睐 AI”的论文指出，一项进步可以立即移植到其他模型上，而人类学习得很慢。在关怀态度上，评估甚至也让 AI 占了上风。人类仍然在专业深度、突破性洞见和连贯记忆方面占优。今天模型的记忆有限而脆弱。最明显的弱点是对抗鲁棒性：它们很容易被骗，AI 圈的推特上充满了越狱的例子，而那些例子是骗不了人的。

他跳过了自己的商业实践幻灯片，转而讲那些不构成建议的内容。一位朋友的问题是：我们是不是正在接近一个“大型科技公司奇点”，即凭借在数据、算力和算法上的主导地位，让巨头跨进其他行业。Labenz 说，这看起来越来越可能，价格似乎也在印证这一点。在一张算力图表上，排名前四的是谷歌、微软、亚马逊和 Meta；苹果排第五；阿里巴巴领跑中国；甲骨文市值达数千亿美元，却不在这场竞赛中。既然现有巨头每个模型都要花费数十亿美元，新来者就没有现实的途径，按这个规模去训练。

他不挑股票，只有一个历史上的例外，是给朋友们的俱乐部推荐过英伟达，大约在两年前，因为所有追逐缩放定律的人都从同一家买算力，而算法的进步一直是渐进式的。AMD 和英特尔受到关注，是因为英伟达的利润率高得离谱，而华盛顿又希望把芯片制造从台湾转移出去。他最稳妥的押注，仍然是算力层，也就是芯片和大型科技公司，因为这些公司握着全部三条腿。在场的玩家：OpenAI 领先；谷歌的人才储备最深，议程也最广；Anthropic 是个规模不大的黑马，与亚马逊和谷歌都有关联；Meta 正在推出 Llama 3；微软在研究上没那么前沿，但数据中心充裕，而且与 OpenAI 绑在一起。别小看马斯克旗下的特斯拉和 X。Character.AI 的“女友”类产品能把人的注意力留住很久，以至于出生率会成为一个长期问题。法国的 Mistral 可能要靠欧盟的产业政策活下去。NeurIPS 的会场上中国研究者很多，但如果禁运芯片，而国内又没有相应产业，下一次规模跃升可能会停滞。苹果在 Siri 上落后，算力排第五，却有花不完的钱。

他说，人类会不会灭绝，取决于缩放是否还会继续。它们被称为“定律”，但更应该叫“趋势”，而趋势是会断的。最大的问题是：能力水平会停在人类专家的程度，还是会远远超过？他的猜测是一种陌生的东西：在某些方面超人类，在另一些方面古怪而薄弱，并且很难预测。他觉得奇怪的，是这场竞赛本身。没有人真正拿出了控制超人类系统的计划。Sam Altman 曾说，最坏的情况是“对我们所有人来说，灯都会熄灭”。至少，Labenz 说，他们知道自己在玩火。

一份针对近年顶级 AI 会议论文作者的调查显示，48% 的人认为 AI 导致人类灭绝的概率至少为 10%。在他看来，这个数字值得认真对待。另有一份声明呼吁，把降低灭绝风险列为全球优先事项，联名者里有 Sam Altman，有 Anthropic 的 CEO，有 Bill Gates，还有 OpenAI、谷歌 DeepMind 的顶尖研究负责人，以及两位图灵奖获得者。预测者们的共识时间表，落在几年到八到十年之间。当然，也可能根本不会发生。但这个领域的主流判断是：它可能会发生，而且或许就在不远的将来。

他会关注几件事：原始的缩放能否一路延续到超人类系统；是否会出现优于 Transformer 的新架构（近期结果显示会出现）；机制可解释性（mechanistic interpretability）能否跟上，一项约 2000 名研究者参与的调查给出的答案是否定的：别指望它能救我们；哪些新的模态会直接跨入超人类水平，比如细胞、大脑和天气；系统能否在中等时间跨度上变得具有智能体特征，已经有数百家创业公司在努力让这件事成真；前沿实验室在情况变得可怕时，是否真的会暂停，就像它们说过的那样；各国政府什么时候会介入；以及美国和中国会不会滑向 AI 军备竞赛，他称之为“绝对、真的非常糟糕”。

他热爱这项技术。Waymark 的产品实实在在好了十倍；他每天要用很多次 ChatGPT，也喜欢拥有 AI 助手。他的警惕针对的是接下来会发生什么。先弄清楚怎样在工作和生活中用好现有的系统。把规模再扩大 10 倍或 100 倍，超出我们现在的水平，这是社会应当明智地放慢的事情。在尝试造出超人类 AI 科学家之前，先把我们已经拥有的东西学明白，因为他认为，我们还没有能把它控制住、并让它走向好结果的策略。