摩根大通掌握 150 PB 数据，GPT-4 的训练数据却不到 1 PB

Sarah Guo 开场就请来一位嘉宾，这位嘉宾曾在她家里创办公司。2016 年，Alexandr Wang 还是一名 19 岁的麻省理工退学生，当时他创办了 Scale AI；八年后，这家公司已是几乎所有大语言模型项目背后的数据铸造厂，合作方包括 OpenAI、Meta 和微软。Guo 把现代 AI 概括为三根支柱：算力、数据和算法，并指出 Scale 占据的是研究实验室和芯片公司都不掌握的那一根。

Wang 的创业起点是一次大学时的领悟，而不是对市场的梳理。在 AlphaGo 和 TensorFlow 出现的那一年，他正在训练图像识别网络，并注意到模型“很大程度上只是数据的产物”。他说，顺着这个思路往下推，AI 就分成三部分：算法，已经是 OpenAI、Google 等实验室的工作；算力，已经被英伟达占据；而数据，却无人涉足。从长远看，数据只会越来越重要。于是他退学，参加了 Y Combinator，决心生产足够的数据，为整个生态提供燃料。

Wang 说，从数学层面看，AI 是一种通用技术：它的函数能够逼近几乎任何函数（包括智能本身）。这恰恰是围绕它做产品很难的原因。真正获得关注的应用一直在变。作为基础设施提供商，Scale 的责任是提前思考：突破性的应用会出现在哪里，又该如何“在 AI 这列货运列车呼啸而至之前先把铁轨铺好”。这家公司已经为此坚持了八年。

第一波是自动驾驶。Scale 加入 Y Combinator 的时候，大约正值 Cruise 被收购前后。它遵循早期创业公司专注的原则，打造了第一个把二维摄像头画面与三维激光雷达融合在一起的数据引擎。这套传感器融合方案成了行业标准。客户包括通用汽车、丰田和 Stellantis。头几年，公司主要靠自动驾驶和少数机器人案例生存，因为那是当时最热门的 AI 应用。

2019 至 2020 年前后，还没有语言模型，下一步的应用并不清晰，因此 Scale 转向了适用性一目了然的领域：政府。它为地理空间、卫星和俯拍图像搭建了数据引擎，这些数据后来支撑了美国国防部首个正式立项的 AI 项目，同一技术在几年后的俄乌冲突中也发挥了作用。同一时期，Scale 与 OpenAI 合作，在 GPT-2 之上做了最早的 RLHF 实验。Wang 说，当时的模型很粗糙，“我们当时真的觉得它不像什么”，但那里的人很聪明，所以他们留了下来。这项工作一直延续到 InstructGPT；之后 2022 年的 DALL-E 2 和 ChatGPT，把公司的重心拉向了生成式 AI。

Wang 认为，生成式 AI 是这个领域第一次真正有了通用技术的感觉，而不像自动驾驶那样只有一个有价值的用途。于是，基础设施的问题就变成了数据充裕与否。“我们会不会用光 Token？”是他经常被问到的问题。他的回答是：这是一种选择，业界可以选择充裕，也可以选择稀缺，而 Scale 的角色就是去建设充裕。按他的说法，从 GPT-4 走向类似 GPT-10 的模型，瓶颈在于能否有足够多的、合适类型的 Token。

容易获取的数据，也就是互联网上的所有内容，基本已经耗尽。模型从 Reddit 评论中已经学不到太多东西。现在它们需要的是监督信号很强的前沿数据：来自数学家、物理学家、生物学家、化学家、律师和医生的思维链（chain-of-thought）；来自企业、消费者和编程智能体（Agent）的工作流轨迹；覆盖人们真正在用的各种语言的多语种数据；以及包括视频和音频在内的多模态数据，还有企业内部那些小众的格式。这项任务是为新的 Token 建立一套生产体系，而不是再去抓一次网页。

Wang 对专家的说辞是杠杆。一位博士、医生或律师贡献的高质量数据，只能让模型稍微进步一点；但把这份贡献放到之后每一次调用中去累加，影响就会“近乎无穷”。Elad Gil 把它类比为 Google 最初的使命：扫描并整理全世界的信息，只不过现在要做的是把专家知识转换成机器可用的数据。Wang 说，贡献者是有报酬的，但更深层的动机是科学层面的，即用自己的智慧推动人类进步。Gil 补充了一个投资人的发现：过去十年的“数字化”并没有采集到你想教给模型的那些思考痕迹。现有的供应商做这件事已经好多年，至今仍然缺少这类数据。他说，知识采集才刚刚开始。他还借用《沙丘》的比喻：数据生产就是香料生产，是未来 AI 系统的命脉。

私有数据仓库是另一口井。Wang 提到一个“惊人的数字”：摩根大通的私有数据集有 150 PB，而 GPT-4 的训练数据还不到 1 PB。企业和政府手里已经掌握了足够训练强大系统的数据。至于合成数据，Scale 的看法并不是完全交给机器生成。关键设计是人机混合的数据：模型承担大部分体力活，最好的推理者注入洞见，从而让输出保持高质量和高保真。

Guo 对显而易见的反对意见步步紧逼：在许多可衡量的维度上，模型已经胜过人类，那为什么还要让人留在回路里？Wang 换了个问法：要看的是，人加模型的产出能否胜过模型单独的产出。他认为这种情况会“持续很长很长很长的时间”，因为人类智能与正在被训练的机器智能是互补的。他曾经和 Gil 辩论过“人马”（centaur）式协作是否还能成立；而当前模型的种种怪异表现，正是他对人类前景的看多理由。

模型的怪癖很有名，也很奇怪。模型能做 ROT13，却做不好 ROT8。它们还有反转诅咒（reversal curse）：被告知 A 是 B，它却说不出 B 是谁。Wang 说，这些故障表明，这种智能不是生物智能，因为它是通过截然不同的过程训练出来的。实际工作中，人的任务是评判回答、指出事实和推理上的错误，并在较长时间里引导模型走向正确而深入的推理链。专家加模型的协作，正是 Scale 花精力的地方。

Gil 引用了 Google 的 Med-PaLM 2：在心脏病学问题上，按医生专家的排名，该模型超过了普通医生的平均水平，但心脏科医生仍然更胜一筹。人类专业知识何时就不再有附加价值了？是三年，还是永远不会？Wang 的回答是永远不会。生物智能的设计目的，是在一生的时间里进行推理和优化，其中也包括繁衍；而当前的模型，训练的只是这种智能的“小碎片”。它们相当于一小杯人类智能：一口下去很浓烈，却难以在长时间的任务里持续发挥。他承认，架构上的突破会提升性能，但模型并没有被训练去在很长的时间跨度里优化那些模糊的目标，业界也缺少用来教会它们这些能力的环境。他称之为一种颇为根本的局限。

Guo 停下来祝贺 Scale 完成了一笔十亿美元级别的融资，估值接近 140 亿美元，战略投资者包括 AMD、思科、Meta 和英特尔。Wang 的解释落在使命上：这笔钱要服务整个 AI 生态，因此，他把其他正在打基础的基础设施建设者（比如英特尔和 AMD），以及关键的行业玩家也带了进来。他把整个行业看作基础设施、技术和应用三层的堆叠，希望数据铸造厂能为每一层赋能。算力投入已经达到数百亿甚至上千亿美元。他认为，如果这个领域要从 GPT-4 走到 GPT-10，数据生产本身也需要真正的投入。

信任是循环的另一半。按 Wang 的画法，AI 的生命周期是：数据输入、训练、评测，然后循环往复。测量能建立信心，进而推动进一步的开发和采用。政府需要确认系统是安全的，并且适合本国的情况；企业需要确认某个智能体不会给消费者带来风险；实验室则需要对自己正在构建的智能，有一个稳定的判断。Guo 问，评测为什么难。对这样一个旨在逼近人类智能的系统打分，很难自动化。你等于在设计智商测试，这本身就是个哲学难题，而实际的麻烦更多：学术基准测试“问题重重”，许多模型还存在过拟合，因为测试题本身就在训练数据里。

Scale 的回应是 GSM1k，这是一套保留不公开的数学评测，理论上不可能出现在任何训练集中。有些模型表现不错，另一些模型的实际成绩则远低于其公布的分数。更长远的计划包括：由同一批专家共同打造的公开排行榜，以及让政府、企业和实验室能够持续评测的平台。即将推出的是为领先的大语言模型设计的私有保留测试集，每隔几个月重新跑一次，首先覆盖数学、编程、指令遵循和对抗能力，之后再扩展到更多领域。Wang 打的比方是大语言模型的奥运会，只不过比赛每隔几个月就办一次，而不是每四年一次。

Wang 对应用层有一种难得的视角，因为 Scale 位于许多构建者的底层。GPT-4 之后，他看着智能体公司和应用井喷式涌现，随后又经历了典型的炒作周期。在他看来，GPT-4 这个模型对这波浪潮来说，有点早了一些。社区很快就发现了它的局限，他认为，对于“百花齐放”来说，它大概“早了几代”。在他的预测中，幻灭低谷会在未来的模型终于具备智能体所需的基础能力时结束。GPT-4 还不是终局模型。

他希望应用构建者（企业、政府和创业公司）装进去的，是自我改进的能力。大型实验室已经在运行一个数据飞轮：新数据改进模型，评测找出弱点，工作流则再次被补充上新数据。每个组织都需要在自己的产品里建立这样的循环，而从零开始搭建很难。Scale 的生成式平台，就是公司为铺垫这块基础所做的尝试。企业常犯的错误，是把堆积如山的数据都当成同样珍贵。Wang 说，前沿数据的价值可以是普通企业数据的 10000 倍。他还提到，Meta 发表的论文表明，收窄数据范围，可以训练出更好、更小、更便宜、更快的模型。这项工作的实质是压缩：把散落的数据大山过滤成真正能推动模型的那一小部分。

在政府业务方面，Scale 正在 Donovan 中推出智能体功能。Wang 把 Donovan 描述为“AI 参谋官”：一个完整的应用，可以接入客户认为合适的任何模型。真正有用的场景往往不起眼，比如撰写文档、录入表单、在不同系统之间传递数据，这些都在现有能力的覆盖范围内。对企业，Scale 考虑的是平台层，而不是自己做应用：帮助他们把自我改进的能力，构建进他们推出的任何产品里。被问到 GPT-4o 和 Google 的 Project Astra 是否改变了他的看法时，Wang 看到了两个信号。多模态仍然存在巨大的数据缺口，因为互联网规模的容易获取的数据已经没有了，而个人智能体又极度渴求数据。另外，那些演示“惊人地相似”。要么是聪明人各自独立想到了下一步那个显而易见的方向，要么是竞争情报做得相当好；他认为两种情况都有。Gil 曾是 Google 的产品经理，他回忆说自己花了两年做一个产品，结果在上线那一周，眼睁睁看着对手推出了同类产品。这些都不是一周就能抄出来的东西。让 Wang 失望的是方向：多模态属于横向扩展。行业需要更聪明的模型，无论它们叫 GPT-5、Gemini 2，还是叫别的名字，这样才能真正做出更多应用。

快问快答：Wang 有一个别人不太认同的 AI 观点。“通往 AGI 的路，更像攻克癌症，不像研制疫苗。”你必须解决一大堆小问题，而且从一个问题到下一个问题，几乎没有正向杠杆。把每一种癌症分开来看；放到几十年的时间尺度上回望，你会发现自己既造出了 AGI，也治好了癌症，只不过这条路是一步步铺出来的。他反对的是一种叙事：某个突破一声“嘭”，一蹴而就，问题全部解决。他认为那种图景是错的，而这意味着对社会来说是利好：进步缓慢而稳定，人们有时间去适应。

Gil 追问，“一次解决一个问题”在技术上意味着什么：多步推理、蒙特卡洛树搜索、扩展瓶颈。Wang 把问题落到了泛化能力上。他认为，这些模型的泛化能力非常有限。即便跨模态，他的理解也是没有正向迁移：大量视频训练对文本帮助不大，反过来也一样。每一个能力的细分领域，都需要自己的数据飞轮。对于“视频能够产出世界模型”这种流行说法，他的看法是：这是“很好的叙事”，但目前还不是有力的科学证据。基本判断是，模型的泛化没有那么强，因此 AGI 是大量小问题逐一解决后慢慢积累出来的。

最后一个问题，问的是他作为一家快速扩张的组织的 CEO，在想什么。他说，这听起来有点老生常谈，但这一切仍然非常早期。市场看起来很拥挤。科技巨头在投入，发布从不停歇，显而易见的应用场景已经扎堆。然而，这项技术只是其未来能力的 1/100，甚至 1/1000。这本书还有很多章节没有写。他想守住的组织特质是敏捷：在技术持续发展的过程中，保持快速调整的能力。