GPT-5 需要 100 万亿个 Token，地球够用吗？

训练 GPT-3 用了大约 1 万亿个 Token。Labenz 和 Gannon 将用一整个小时来拆解的估算显示，GPT-4 用了大约 10 万亿个。再沿着这条曲线走一代，假想中的 GPT-5 需要 100 万亿个 Token，算力预算也会从几千万美元跃升到 10 亿美元以上。钱是另一个问题。更顽固的问题是，地球上是否真有这么多可用的信号。

Labenz 是一名创业者和 AI 投资人，主持 Cognitive Revolution 节目。他把这期节目当作一次实验：一小时的数量级算术，目的是把听众的世界观校准到数据和算力的现实范围内。他的嘉宾是 Nick Gannon，白天是拥有硕士学位的数据科学家，晚上是 AI 领域的侦察员，一直在统计人类实际产生了多少数据。电子邮件、推特、YouTube、基因组、望远镜的数据存档、天气、人口普查文件、源代码，甚至 ChatGPT 自己已经生成的文本，他们试图把每一种来源都记在同一本账上。

结论很早就亮出来了，因为算术本身就是重点。对于 GPT-5 规模的训练，数据不是瓶颈；富余之多，几乎显得不公平。把同样的逻辑延伸到一次 1 万亿美元的训练，高质量文本大概就不够了。他们认为，缺口需要由合成数据和自我对弈来填补。白宫已将 10^26 FLOPs 设为训练运行的报告门槛，在这样的背景下，Labenz 希望那些自称在追踪进展的人，脑子里至少记着几个这样的参考数字。

Gannon 一开始就提醒大家，人们实际上是怎么形成看法的。他说，对 AI 进展的判断，常常只是群体情绪被汇总成一个价格：看多还是看空，高估还是低估。这种习惯让人们对这个领域的认识，装满了别人的观点，而不是事实。他想要另一种框架，能够解释超大规模云服务商（hyperscaler）究竟在做什么。

他根据 Ilya Sutskever 的表述，重述了 OpenAI、DeepMind 和 Anthropic 的核心范式：这是一种规模假说（scaling hypothesis），建立在两个简单的前提之上。第一，脑子越大，就越聪明。第二，生物神经元与人工神经元在功能上是对等的：智能并不在乎导线是碳基的还是硅基的。如果两条都成立，人类水平的系统就不再是大自然的谜题，而成了一个困难但可以处理的工程问题，因此数据也应该放在规模这个视角下来解读。

Labenz 又补充了一项人员方面的检查。Sam Altman、Greg Brockman、Ilya Sutskever、Demis Hassabis、Shane Legg、Dario Amodei，据他回忆，这几位都没有把数据短缺视为根本障碍。被问到这个问题时，他们往往说没关系，自己能造出所需的数据。接着，Gannon 引用了 J. Becker 的话，他是 OpenAI 的工程师，负责搭建大型分布式集群：这些模型在很大程度上是在逼近它们的数据集。只要在同一份数据上训练得足够久，几乎每个权重足够多、时间足够长的模型，都会收敛到同一点。按照这种极端的理解，数据质量的提升和架构的改进，都是在缩小达到人类水平通用性所需的规模。

他们把几个基准数字摆到了台面上。GPT-3 大约用了 1 万亿个 Token 训练，约 600 GB 文本。GPT-4 的数据主要参考了 SemiAnalysis，估计是一个 16 专家的混合专家（MoE）模型，每个专家 1110 亿参数，总计约 1.8 万亿参数，外加一个视觉编码器，额外用了 2 万亿个图像 Token 训练。他们会反复用到的是文本部分的数字：约 10 万亿个 Token，训练算力大约在 10^24 到 10^25 FLOPs 之间。

Chinchilla 缩放定律指出，在给定的算力预算下，参数和 Token 应当同步增长。参数增加 10 倍、数据也增加 10 倍，算力就是 100 倍，这恰好与每一代模型的预算大约增加 100 倍的观察相符。MosaicML 曾声称，从零复现 GPT-3 的成本低于 50 万美元；但大多数估算认为，原始成本更接近 500 万美元，而 GPT-4 单次预训练的 GPU 开支大约在 5000 万到 1 亿美元之间。提高 100 倍，大约落在 10 亿到几十亿美元的区间，英伟达的营收和 Meta 宣布的芯片采购规模，已经让这个数字变得可以想象。

有三点保留，削弱了“数据增加 10 倍”这个干净利落的说法。Chinchilla 最优配比已经不再流行，各实验室现在会过度训练。比如 Llama 2 的 70 亿参数模型就用了 2 万亿个 Token 来训练，因为额外的 Token 能换来更便宜的推理。你可以把 100 倍的预算花成 20 倍的参数加 5 倍的数据，而不是 10 倍加 10 倍。长上下文也会反向压低对数据的需求：GPT-5 很可能会用类似环形注意力（ring attention）的机制训练，据推测，Gemini 1.5 和 Claude Opus 的长文本检索能力背后也是这种机制。一个拥有 1 万亿参数、上下文窗口为 100 万 Token 的模型，比同一个模型在 4K 窗口下的算力消耗大约高 5.6 倍，但批次大到让权重更新次数少了很多。第三点是混合专家。在 GPT-4 的一次前向传播中，1.8 万亿参数里可能只有 2700 亿被激活：相当于一家有 180 万员工的公司，只派出 27 万人去干活。天下没有免费的午餐：MoE 依然遵循规模定律，只是曲线的斜率平缓了一点。

Gannon 忍不住补充了一句，这些算法技巧如今变得多么有价值。他说，竟然还有人愿意把它们发表出来，这很令人惊讶。有人可以走进 DeepMind，开口要 1000 万美元，而对方很可能会掏钱，只为了在别人之前几个月独占这项秘密。他又补充说，要感谢学术界把这些秘密公之于众。即便把所有保留条件都叠加起来，他们仍然需要找到通往 100 万亿个高质量 Token 的路。

2020 年，人类产生了约 64 ZB 的数据，即约 10^22 字节的量级，其中绝大部分是存放在 CDN 节点上的副本的副本。与 100 万亿个词相比，这个规模是 10^8 倍。如果原始数据中有亿分之一是高质量文本，GPT-5 的预算就够了。数据池仍在增长：全球数据约每三年翻一番，因此人类有史以来产生的数据中，约一半是在最近三年里出现的。仅电子邮件就足以说明问题。每天 10^11 封邮件、每封 300 个 Token、一年 300 天，年度总量在 10^16 到 10^17 个 Token 之间。其中千分之一的邮件是好的，就足以覆盖 GPT-5。真正的限制是获取：邮件锁在别人的系统里。这也是 OpenAI 公开提到过一支数据采购团队的原因，这支团队会向政府和公司采购数据。

推特是平庸的互联网文本的一个有用缩影：每天约 10 亿条推文，每年约 3×10^13 个 Token，相当于三个 GPT-4，外加 GPT-5 的三分之一。电子邮件和推特之间的差距有数百倍，这提醒人们数据分布有多不均匀。YouTube 和天文数据则跳过了四个数量级，落在每年 1 到 2 EB 的水平。每年上传 5 亿小时视频；Hubble 和 James Webb 望远镜的数据量也在同一量级。GPT-4V 对低分辨率图片按 85 个 Token 计费，而图片有数万像素，压缩比约为一千比一。把这个折算系数用到 YouTube 上，一年的上传量就是 10^15 个 Token，是 GPT-5 目标的十倍。如果按 Chinchilla 的方式用这些数据全部训练，将比假想中的 GPT-5 预算再高出 100 倍，花费数千亿美元。这个数字恰好在谷歌、微软、苹果和 Meta 的现金储备之内。YouTube 里只要有 10% 是“好的”，也足够了。

基因组数据的体量更大，每年约 40 EB，并且每两年翻一番，却几乎没有派上用场。Labenz 举的具体例子是 Evo：一个 70 亿参数的生命科学模型，学习了约 3000 亿个 Token，材料取自 270 万条公开的原核生物与噬菌体基因组，这些基因组里看不到任何细胞核。GPT-4 为了获得视觉能力，额外消化了 2 万亿个图像 Token。对于 DNA 这种模态，如果规模达到这个水平，似乎是够得着的，于是他开始自顾自地设想：把碱基序列与蛋白质组学、调控 RNA、健康结局以及影像扫描混合训练，也许就能得到一个像今天的模型驾驭语言和图像那样，驾驭生物学的系统。人类对 DNA 并没有与生俱来的直觉，而模型不必背负这种天生的短板。天气数据则是另一处宝库：全球气候数据中心积累的预训练材料，约相当于 600 个 GPT-4，来源是 37 年里卫星、飞机、船舶、浮标、雷达和探空气球的观测。DeepMind 的天气模型不到一分钟就能算出十天之后数百个变量的预报，网格精度为 0.25 度。美国人口普查局的数据量又相当于几百个 GPT-4。Gannon 提到，苹果的 Vision Pro 本身就是一台很厉害的数据采集设备。金融界的情况也类似：据报道，Geoffrey Hinton 的第一位指导学生 Peter Brown 执掌着文艺复兴科技公司（Renaissance Technologies），其旗舰基金几十年里的年均复合回报约为 37%，外界还传言它在大批量囤积 H100。

已索引的网络只是可见的宇宙。谷歌收录的页面大约在 500 亿个上下浮动；对未被索引部分的估计，是这个数字的 25 倍到 2000 倍，Gannon 把这个范围比作在问不可观测的宇宙有多大。代码在存量上较小，但在增量上很特别。Hugging Face 的 The Stack 原始体量为 6 TB，近乎完全去重后为 3 TB，约相当于 GPT-4 的 30%，GPT-5 的 3%，而且你可以无限地生成更多。合成文本已经达到这个量级。按每天 2500 万活跃用户、每位用户 15 次查询、每次回复 1000 个 Token 来估算，ChatGPT 大约会生成 10 万亿到 45 万亿个词，足以训练几个 GPT-4。ChatGPT 已经生成的文本超过了它自己的训练量，并且正在接近 GPT-5 规模的语料。Gannon 说，每当数据问题被提起，研究者脸上都会浮现一丝狡黠的笑：别担心，这事我们有办法。这个“办法”很可能就是合成数据。

Epoch AI 的论文《Will We Run Out of Data?》给人泼了一盆冷水。高质量的公开文本，包括书籍、新闻、科学论文、维基百科和经过过滤的网页，估计约有 10 万亿个词，与 GPT-4 的训练集处于同一数量级，很可能会在 2024 年到 2026 年之间耗尽。做一个粗略的检验，会让这个数字不那么像是猜测：美国国会图书馆的藏书约有 10 万亿个词，也就是 10 TB。如果“好到足以摆在那些书架上”是质量标准，那么 10 万亿恰恰是你会预期的规模。数据总量并不稀缺。看上去像书籍的那部分数据池，已经是 GPT-4 的规模了。GPT-5 的 10 倍跃升，或许仍可以用多模态数据、私有语料和合成数据来弥补。再往后，路径就没那么清楚了。

他们把上限推到了文明真正能够负担的最大规模训练。投资人 Carl Shulman 把这个上限定在约 1 万亿美元，大约相当于全球总产出的 1%。先例确实有，只是寥寥无几：阿波罗计划最高峰时，美国的开支约占 GDP 的 2.2%。苹果的营收正在逼近 4000 亿美元，美国国防部的预算约为 8000 亿美元。Gannon 的换算刻意很粗略：1 万亿美元大约相当于 30 艘航母，或 10 座国际空间站。关于 Sam Altman 在中东寻求 7 万亿美元芯片投资的报道，只停留在传闻层面，但 Altman 早在 2015 年就在与国防部长讨论，把 AI 和算力作为国家安全的投入。Gannon 的判断很直接：这种规模的训练，是一个只有两个国家才玩得起的问题，即美国和中国。

三条趋势线把一次万亿美元级别的训练，定在 2029 年到 2033 年之间。最昂贵的训练成本，大约每两年就攀升一个数量级。摩尔定律按晶体管密度来说正在减弱，但它的精神，即以每秒运算次数衡量的增长，更接近 Kurzweil 的加速计算曲线，仍然存活。算法进步更快：有效算力，即在某个测试集上达到 90% 准确率所需的 FLOPs，自 2012 年以来大约每九个月翻一番。更多的钱、每块钱买到的算力更多，每单位算力产生的有效算力也更多。这次训练的数据需求约为 85 千万亿（8.5×10^16）个数据点，是 GPT-4 的 8500 倍。人脑每秒处理约 1100 万比特；按 70 年的寿命计算，这大约是 2 到 3 千万亿字节，是 GPT-4 的 200 到 300 倍。如果智能是一场数据游戏，那么人类水平的认知，恰好与训练数据接近一生的脑部吞吐量相吻合，就并非疯狂的巧合。一次花费 1 万亿美元的训练所需的语料，将是这个寿命的三十到四十倍。

10^17 个 Token 只约占 2020 年产生和复制的数据总量的 0.13%。这又是一个看上去富余得离谱的数字，直到你想起高质量文本只有 10^13。两者差了四个数量级。Labenz 从头拆解这笔预算：相对于 GPT-5 的 1000 倍算力跃升，可以拆成 10 倍参数和 100 倍数据，这样就能达到 10^16，最后一个数量级则由更便宜的算力补上。10^16 也许可以达到，10^17 看起来有些勉强。总数据量从来都不是真正的问题，高质量的占比才是。

如果开放网络提供不了 10^17 个高质量 Token，剩下的办法就是自己造。Labenz 说，Claude 3 改变了他对精炼循环能走多远的看法。他仍然不太能接受 AI 自我批评一路发展到奇点的图景，但从质量上看，似乎表明“他们已经把这个陀螺转得相当稳了”。代码显然是现成的工厂车间，因为程序可以在运行中被编写、修改、执行和检查。Gannon 把它推崇为我们手上最好的合成数据领域。

他指出，目前明确超越人类的系统，是 DeepMind 的 Alpha 系列：AlphaGo、AlphaZero、AlphaGeometry、AlphaFold。这套方法不断重复：一个价值网络，推理时的蒙特卡洛树搜索，自我对弈，更新，再自我对弈。任何能打出 Elo 分数的东西，比如国际象棋、几何证明，以及“所有可能被下完的棋局”，都可以用这种方式来构建，每个领域一个 AlphaGeometry 和一个 AlphaFold，然后横向扩展。他这番话是这一小时里最极端的一句：如果目标是超人类系统，那么大部分人类生成的数据都要扔掉，然后从头开始。在推理能力上，目前最接近的可用类比，是 Noam Brown 的推理时搜索：让模型多想一会儿，它的表现就像一个参数多出 10000 倍的网络。这是在不扩大权重的情况下，取得规模收益的一种变通办法。

Labenz 最后提出的谜题，起初几乎像个玩笑，直到它不再是玩笑。GPT-5 能不能写出一道连 GPT-5 自己都解不出来的编程题？描述问题比给出解答容易，所以一个能生成难题、尝试解答、并在成功的题目上训练的模型，看上去“几乎肯定能成”。在 GPT-3.5 时代，递归式自我改进还远远谈不上；自我批评常常让答案变得更差。GPT-4 能够改进，但在三到五轮之后就会进入平台期，无论是程序改进还是化学反应改进，都是如此。关键在于，这些循环并没有重新训练模型。一旦让循环穿过训练闭合起来，起飞的图景就不只是思想实验了。

他们最后没有在两种叙事之间选出赢家。乐观派的理由是，世界上的数据源源不断，电子邮件、YouTube、基因组和合成文本中的一小部分就应该够用了，而且新的模态可以嵌入一个人类天生并不会说的一体化系统里。悲观派的理由是，如果完整的蛮力 AGI 真要花费这么多，那么要获得额外的 1000 倍，就没有明显的路径。Labenz 说，现在的关键问题是，能否设计一套课程，让正确的“顿悟”（grokking）足够早地发生，从而点燃超人类能力。那正是人们既期待又担忧的东西。

他希望听众带走的，是一种习惯，而不是某个标题结论。Gannon 的开场白至今仍应该挂在显示器上：不要把 AI 压缩成一个你可以看多或看空的指数。把世界观锚定在数量级和一张事实清单上，别人的情绪就不会再左右你的判断。新数据集的发布、新的融资、新的“数据即将耗尽”的说法，每一条都可以用你已经掌握的几个数字来做一次快速检验。

三本账承担了大部分工作。Token：GPT-3 约 10^12，GPT-4 约 10^13，GPT-5 约 10^14。成本：约 500 万美元，然后是 5000 万到 1 亿美元，再之后是 10 亿美元及以上。存量：高质量公开文本约 10^13 个词，按现在的速度，大约在 2026 年前后耗尽。数据集发布时，就问它相当于多少个 GPT-4。融资完成时，就问它能买到多少次 GPT-4 规模的训练。还要留意那些答案可以自动检验的领域，比如代码、数学、几何。那里的进展，比任何关于互联网是否已被用尽的争论，都更能告诉你下一次跃升会发生在哪里。