30 个模型、42 个场景、7 项指标：Percy Liang 为语言模型做的公开体检

2023 年 3 月，投资人 Sarah Guo 和 Elad Gil 在 Percy Liang 位于斯坦福的办公室录制了《No Priors》。Liang 从事机器学习和自然语言处理已有二十多年。他在 MIT 读本科时，就被理论以及一个简单的谜题吸引：人类听到语音、看到文字，却能在很大程度上无监督地学会句法，并形成对世界的复杂认识。他的梦想，就是让计算机做到同样的事。他之后去伯克利读研究生，然后加入斯坦福，此后一直在追求真正理解语言的系统。

他说，过去四年让那个曾经的梦想真正起飞了，只是方式并不完全像他预想的那样。GPT-3 这样的大语言模型，捕捉到了惊人数量的语言结构和世界结构。他刚进入 NLP 领域时，也在训练语言模型，但那是截然不同的一类：隐马尔可夫模型（hidden Markov models），目标是发现文本中隐藏的结构，比如把城市名和星期几区分开来。他说，新的系统已经处在完全不同的层次上。

2021 年，他和同事提出了“基础模型”这一术语，并创办了斯坦福基础模型研究中心（CRFM），该中心隶属于学校的以人为本人工智能研究所。这个名字是经过考虑的。“大语言模型”并不能概括正在发生的事情：图像和多模态正在到来，这一现象比语言更为普遍。按照 Liang 的说法，CRFM 的使命是：随着这些模型无处不在，同时又变得越来越封闭，提高其透明度和可及性。

Guo 问 Liang 是否有过某个时刻，让他决定专注于基础模型。确实有，而且决定性很强：那是疫情期间的 GPT-3。让他震惊的，与其说是模型的能力，不如说是它的训练方式。投入海量文本，让模型一遍又一遍地预测下一个词，重复数十亿次，而从这个简单的目标中，不仅涌现出了流畅的生成能力，还涌现出了上下文学习（in-context learning）。你可以用指令来提示模型，给它几个例子，它就能当场弄清楚任务。

在他看来，这是一次范式转移。机器学习和 NLP 过去是一堆量身定制的系统：一个训练用于问答，另一个用于翻译。GPT-3 则表明，存在一种通用的底层基础，你可以要求它完成各种各样的任务。“任务”这一在 AI 中如此核心的概念，开始瓦解。他对此感到极其兴奋，这也正是这个研究中心存在的原因。

他认为，推动过去十年深度学习发展的开放文化（PyTorch、TensorFlow、开放数据集和论文）正在退潮。模型越来越只能通过 API 接触，而秘诀则被藏了起来。他的诊断并不令人意外：这些系统需要巨额资本，它们本身就是竞争优势，而且出于真正的安全考虑，在任何东西都可以随意发布之前，确实应该三思。这些激励与 CRFM 的透明度宗旨之间的张力，贯穿了访谈的其余部分。

Gil 指出，历史上创新一直在学术界和产业界之间来回摆动。如今，一些实验室发表得越来越少，只发布 API。Liang 告诉学生们，要去做那些能发挥学术界竞争优势的工作，而他认为，这种优势已经发生了变化。在他读研究生时，语音、视觉和问答基本上都还不能用。学术界的任务，是让东西能跑起来。几十年来，无论是大学还是企业，都在这种艰苦的磨砺中积累，而今天的产业界正是在把这些积累规模化。

现在的动态已经不同了。只要你有数据和算力，就能冲破许多障碍。让东西跑起来，已经不再是学术界独有的任务。Liang 认为，剩下的任务是理解。尽管这些模型取得了令人印象深刻的成就，却没有人真正知道它们是如何运作的：训练数据和架构如何塑造行为，数据该如何加权，正确的目标又是什么。这些问题需要严谨的分析。另一类理解则关乎社会影响，这也正是 CRFM 拥有三十多位教职人员、横跨斯坦福十个院系的原因。

中心关注版权与合法性、社会偏见，以及同质化问题：当一个中心化的模型在生活的许多方面替一个人做决定时，意味着什么。其他研究人员则在研究虚假信息，以及这些工具正变得多么具有说服力，包括外国国家行为体可能利用它们的风险。医学院的教职人员则在探索其在临床实践中的应用，斯坦福之所以能做这件事，是因为它附属有医院。Gil 回忆起 MYCIN，那是斯坦福在 1970 年代开发的一个专家系统，在预测传染病方面的表现超过了医学院的工作人员，却始终没有进入日常诊疗。他担心，有些行业就是拒绝改变。

Liang 对这种差距很平静。医疗领域仍然需要解决隐私、稳健性和幻觉问题：模型会编造事实，还会在编造时显得自信满满。Guo 说，有些医生也会这样。他笑了笑，然后提出了一个更尖锐的观点。几十年来，人类水平的表现一直是 AI 的北极星。在许多维度上，他认为目标现在应当是超越人类。我们应该为真正想要的东西定义客观的衡量标准：可靠性、有据可依、统计证据。他经常希望从医生那里得到更多统计数据，却常常得不到。他说，去模仿人类，是错误的目标设定，因为我们本来就有很多人类。

Liang 早期的研究把语言当作一种编程语言：语义解析把问题映射成机器可以执行的形式化对象，比如 SQL 查询。它的好处是，答案是计算出来的，而不是检索或编造出来的。问题在于，世界不是数据库。它只有一小部分是结构化的，因此他转向了开放域问答，并参与构建了 SQuAD。这个基准与其他基准一道，推动了 2018 年前后的 BERT、RoBERTa 和 ELMo，随后又推动了 2020 年那一波基础模型。工具使用，即把算术交给计算器，而不是在“Transformer 的脑子里”硬算，仍然与语言模型如今原生具备的非正式推理方式格格不入。神经网络与符号主义之争是老问题，如今它又回来了，因为规划和推理重新变得重要。

被问到什么让他感到意外时，他首先提到了上下文学习。设计者并没有编写代码去教模型抓住几个带标签的例子；这种能力自己涌现出来了，而且随着模型和数据的改进，它会变得更可靠。“真正神奇的地方在于，你并没有去教它，它却仍然能做点什么。”思维链是第二个让他意外的地方。如果让模型立即作答，它可能对，也可能错；如果让它生成解释，把思路说出来，它答对的可能性会大得多。人类也是这样思考的。这种能力依然是涌现出来的。

对他来说，最疯狂的例子是混搭。让模型用莎士比亚的风格解释快速排序，它给出的内容在语义上切中要害，文风也比很多人写得还要好。这说明它学会了“莎士比亚”和“快速排序”这两个概念，并把它们融合在了一起。批评者说，大模型只会死记硬背。可这段文字在训练数据里并不存在，模型必须把它创造出来。他把这看作创造力的一瞥，并认为它对科学发现也有启示。到目前为止，AI 的梦想都以人类为上限。AlphaGo 在人类下了几千年围棋之后，还找到了人类遗漏的战术。他说，超越人类，将解锁许多可能性。

ChatGPT、Bing Chat 和 Anthropic 模型的指令遵循能力十分惊人，但底层有多少是涌现、有多少是“秘方”，很难分辨。幻觉则是它丑陋的孪生兄弟。他的希望（不是预测）是：随着模型变得更好，其中一部分幻觉会消失。下一个词的预测听起来很简单，但要做好，模型就必须把句法、说话者和事实压缩进一个世界模型里。更好的模型开始能够区分互联网上哪些部分是可靠的，哪些不可靠。你仍然得说“不要产生幻觉”，但如果系统本身就对幻觉是什么有所概念，控制起来就容易得多。如果对一个较弱的模型说“Elad 去 ___”，它会随便填一个目的地。而一个更强、上下文更充分的模型，或许会先问他打算去哪里。

一位参与过 Transformer 研发的人告诉 Gil，这一架构陷入了一个自我强化的循环：规模带来涌现，涌现又为更大的规模提供理由，而其他设计则永远得不到足够的算力来展示自己的能力。Liang 的回应很直截了当。他真心希望，十年后我们不再还在使用 Transformer。它是一种好的架构，人们也一直在试图改进它，而且它足够好，所以大家都在往前冲。但从科学上看，没有理由相信它就是那个唯一的架构。他的同事 Chris Ré 和学生们已经构建出一些替代方案，在较小的规模上能与 Transformer 竞争，而且不需要注意力（attention）机制。他说，挑战现状，恰恰是学术界最擅长的事情。

Gil 泼了一盆冷水：LSTM 也有缩放定律（scaling laws），只不过要达到同样的结果，它要多烧好几倍的算力，而每个人都活在算力预算之内。Liang 表示同意。在固定预算下，Transformer 严格地胜过 LSTM；“如果把 LSTM 也做大会怎样”这个问题基本上没有什么意义。在学术界，你可以训练 10 亿参数的模型，按大学标准并不便宜，但仍然可以做到；而 CRFM 正在训练 60 亿到 70 亿参数的模型。这足以用来验证想法。由于涌现与规模相关，一个有前景的小规模结果，在有人把它推到更大规模去测试、或者看着差距是否缩小之前，只是一个假设。

正是这一瓶颈，促使他共同创立了 Together。前提是：算力是基础模型的核心，而大量算力处于闲置和分散的状态。数据中心之间的互连极快；家用或台式机的网络连接则慢 100 倍，甚至更糟。Together 与 Ré、Ce Zhang 等人一起，开发了调度和压缩技术，让连接较弱的机器也能进行训练。Folding@home 是它的灵感来源：在疫情期间，它为新冠分子动力学模拟，一度汇聚起按 FLOP 计算的全球最大超级计算机。基础模型则更难，因为庞大的权重和海量数据都需要来回搬运。该公司正在打造一个研究云：学术界人士贡献闲置的 GPU，需要时则可以占用更大份额；同时打造一个商业平台，用于在开源模型上进行微调和推理。OpenChatKit 基于 EleutherAI 的 GPT-NeoX 构建，以一个正在进行中的项目形式发布，供社区改进。

Liang 当时并不常见的一个观点是：未来会有许多基础模型服务于不同的用途，其中一些从现有模型衍生而来，另一些则从零开始训练。例子是 BioMedLM，它由 CRFM 与 MosaicML 合作，基于 PubMed 上的文章训练而成。它的规模并不大，但有一段时间，它在美国医师执照考试上达到了最先进的水平，直到 Google 那个规模约大 200 倍的模型把它超过。他说，规模很重要，但成本也是一种约束，许多场景都应该使用较小的模型。再往远看，他希望有这样一类系统：阅读文献、提出假设、设计实验、编写代码、修正自己对世界的认识，成为一位有人类参与其中的科学家。课程作业级别的工作，现在已经触手可及。至于真正的突破，比如 AlphaGo 那种异于人类的战术，则需要比随便采样一个语言模型更为审慎的设置。

CRFM 在前一年的旗舰项目是 HELM，即语言模型整体评估（Holistic Evaluation of Language Models）。Liang 说，“评估语言模型”这件事的麻烦在于，它就像在说“评估互联网”。模型输入文本、输出文本，可以用于无数种应用。该项目尽可能系统地梳理了各类场景，衡量的不只是准确率，还有稳健性、校准度（即模型是否知道自己不知道什么）、公平性、偏见、毒性和效率。他们尽可能收集了所有知名的模型：既有 OPT、BLOOM 这样的开源模型，也有来自 Cohere、AI21、OpenAI、Anthropic 和微软的 API。总体而言：30 个模型，42 个场景，7 项指标，对所有模型都采用相同的流程。

结果放在一个网站上。你可以先看总体数字，然后深入到某个基准、某个具体实例、模型的预测，以及产生该预测的提示词。重点是以科学的方式呈现的透明度。难的是速度跟得上。论文发布大约三个月后，ChatGPT 和 LLaMA 已经出现，Cohere 和 AI21 更新了模型，GPT-4 的传闻也出来了。HELM 变成了一个持续更新的看板，每两周刷新一次，并加入了人们真正会问的新场景，比如写邮件、给人生建议、写文章，同时还加入了新的风险项。Liang 希望加入说服力基准和安全测试。他特别担心，一旦模型开始接收外部输入并在世界中采取行动，你不仅能越狱自己的系统，还能越狱别人的系统，从而引发一连串错误。下一步是多模态评估。

对这个中心来说，政策也从同一个地方开始。少数参与者在开源还是闭源的问题上存在分歧。模型被描述为与人类价值观对齐，但一旦你追问：究竟是哪些人，这些价值观是谁决定的，这种决定有什么正当性，又由谁来负责，你就会发现那个黑箱。透明度是必要的，但还不够；即便要展开政策讨论，你也需要一些透明度。Liang 希望有类似营养成分表或电子设备规格说明书那样的东西：有义务说明产品是什么，投入了哪些数据，用了哪些指令进行对齐，以及边界在哪里。与此同时，Together 正在推出一个客户端，让人们能贡献算力，并推出一个用于推理和微调的 API。

被问到一位严谨的科学家应当如何看待 AGI 时，Liang 说他的看法已经改变了。有一段时间，主流学界把它视为笑谈。他十年来一直与思考 AGI 和生存性风险的人保持联系，但他看待世界的方式不同，更专注于机器学习系统在近期内的稳健性。基础模型的涌现特性让他学会了保持开放的心态。每个人，包括科学家，都会被卷入某种范式。技术层面的世界在变化，我们对 AI 的理解方式也在变化，甚至可能包括对人类的理解。《No Priors》这个节目名，正是他在未来几年里推荐的那种态度。