Meta 的 1970 亿美元之日，只是 AI 那个 2000 亿美元问题的部分答案

Sarah Guo 和 Elad Gil 没有请嘉宾，直接从模型聊起。谷歌的 Gemini 1.5 是重头戏：性能有竞争力，还有一百万 token 的上下文窗口。Gil 指出，此前 Magic 等创业公司已经谈过 500 万 token 的模型，但一家前沿实验室推出一百万 token 的产品，是另一种信号。他认为，在生物学领域，长上下文的重要性会超出人们的预期。用短窗口去折叠蛋白质，常常无法把整条链包进去。人类蛋白质的平均长度约为 300 个氨基酸，其中很多要大得多。那些序列根本放不进去。

OpenAI 的 Sora 是另一个看起来不像演示的演示。Gil 说，视频好看极了，他也点头认可 Pika 和其他视频模型公司做的有趣工作。接着说到 Mistral，它推出了 Mistral Large 和一个叫 Le Chat 的聊天产品，Gil 忍不住叫它 Le Big Mac。这句玩笑背后有一个认真的观点：这家公司从成立到接近 GPT-4 水平只用了九个月，中间有小而高效的模型、大模型、聊天功能和多语言支持。他说，执行速度才是最让人佩服的地方。

Mistral 还宣布了与微软的授权合作。按 Gil 的数法，Azure 上的主力模型现在有 OpenAI、Llama、Mistral 和一些微软自家的模型。一年前还不存在的一家欧洲实验室，也在这张名单上。Guo 补充说，设计空间依然需要最前沿的能力，这正是 Mistral 在追的目标；但这家公司从一开始就在谈效率、延迟，以及服务不同的使用场景，并且长期以来一直支持检索。

当前一个正在进行的研究争论是：只要上下文足够长，检索增强生成（RAG）就会消亡。既然能把几百万个 token 塞进提示词，何必还要检索？Guo 站在另一边。更大的窗口打开了一个权衡空间：你可以多检索、少在模型推理上花钱，也可以反过来。你可以针对某个具体数据集工作，而不必重新训练，也不必把所有东西都塞进上下文。Gil 的看法更简单：两者都会存在。

他说，还有一个讨论不足的转变，是计算发生在哪里。在大语言模型之前，很多类似人类的推理工作是在推理阶段完成的。一个更强的扑克 AI 先训练一个模型，然后在真正打牌时做树搜索和额外的计算。他预计，智能体和推理会越来越像这种模式：大量的推理，然后把推理轨迹反馈回去，继续训练。目前的模式是：建起一个数据中心，花上十二个月、1 亿美元，产出一个文件，再用这个文件一年，同时训练下一个。持续升级会打破这种节奏。现在还处在周期的早期。他认为，这些东西都会动起来。

Gemini 会改变谷歌的问题吗？Guo 说，研究层面的问题已经有了答案。Gemini 令人印象深刻，尚未发布的、关于函数调用和多模态的内部工作，同样令人印象深刻。谷歌拥有分发渠道、消费者行为、搜索查询的价值、广告竞价、优秀的研究团队，以及足够多的 GPU。现在真正的问题是，管理层能否带领公司参与竞争，同时应对员工群体提出的种种诉求，以及那些不是“整理全球信息、推高市值”的使命。

Gil 在 1.5 之后更加看涨。一年半前，他写过谷歌是一头沉睡的巨人，一旦醒来，进步会很快。即使有开源，从零建立一家公司也极其困难，而 Mistral 做到了。谷歌在过去两三个月里加速了，推出的东西确实可以对外使用。它有算力、网络数据和 YouTube 数据，还有邮件和文档中可选的个人语料，以及人才。直到不久前缺的都是意愿。竞争压力似乎让这份意愿回来了。他说，从现在开始，速度可能只会更快。

Guo 说，通用大语言模型依然没有达到人们期望的能力，问题出在每个领域，尤其是两个领域。让 ChatGPT 设计一段能表达 CRISPR-Cas9 的 DNA 序列，它做不到。细胞设计、蛋白质设计、蛋白质优化、药物发现和靶点识别，是研究人员已经借助 Transformer 和扩散模型取得显著成果的地方。这是另一种推理，也是另一种数据集，而且受到 Gil 提到的上下文窗口限制。机器人领域起步更晚，部分原因在于数据，不过现在似乎已经有合理的办法来生成一部分数据。Gil 不会惊讶如果 2024 年和 2025 年成为模型激增的年份：化学、材料、物理、数学、生物学、机器人，每个领域都会长出自己的模型。

另一股模型侧的浪潮是智能体，而且一些新公司并不只是堆一个更大的大语言模型。它们回头看 AlphaGo、扑克和《Diplomacy》：在信息不断变化的情况下连续行动，用十亿局的自我对弈训练，在推理时而不只是训练时使用启发式方法和算法。Gil 认为，这套知识体系即将变成产品，还需要六到十二个月。浪潮正在到来。Guo 对同一件事的描述更偏运营层面。人们对智能体作为系统一部分的理解更聪明了。2023 年的图景是一个在通用环境里运行的智能体，在十项任务上不断累积失败。2024 年的图景是一个处在循环之中的智能体，而这个循环能够强化它：一场游戏、一个受约束的网页应用，或者像代码生成这样能够采样和验证的领域。去年第三、第四季度，人们还能诚实地质疑这些东西有没有用。现在的答案是：在合适的范围里，它有用。

早期的产品过早地铺得太宽：一个浏览器插件，看着你做的每件事，然后替你把每件事都做了。更有针对性的版本，是更好的机器人流程自动化（RPA）、更好的代码，以及更好的客户支持。有些团队甚至在购买人类反馈数据来做后训练，这告诉他们分布和规模上可能需要付出多少代价。Guo 说，这把一个开放式、站不住脚的智能体问题，变成了一个有范围的问题：让某一个具体任务跑通，要花多少钱。他们最终仍会走向通用的情形。快速的成功发生在狭窄的战线上。

Guo 对财报的评论很冷静：赚钱当然是个好主意，黄仁勋比谁都明白这一点。之前的担忧是，GPU 需求只是一场短期的抢购，供给跟上之后，增长就会平稳下来。黄仁勋说英伟达预计今年全年依然受供给限制，这就把那种说法终结了。她说，需求比大多数人预计的要大得多。底下的升级周期是 A100 到 H100，再到 H200 和 B100，每一步都有训练效率上的激励。她的一家投资组合公司正在购买数以万计的 GPU，并直接跳到 B100。他们把它说成训练效率上的白捡的钱。她指出，这个说法听起来有点好笑，因为你在花的是数亿美元。如果别人也这么想，服务器市场就会持续扩张。

融资轮次占据了新闻标题。Gil 说，讨论不足的事实是，大部分支出来自超大规模云厂商和其他云服务商的扩建。企业采用仍然非常早期，但微软说，由 AI 相关产品带动，Azure 收入增长了 5%。如果 Azure 每季度约 250 亿美元，那就意味着每季度有 10 亿到 15 亿美元的新增 AI 支出，年化 50 亿或 60 亿美元，而真正的企业采用还有两三年才会到来。巨额的大语言模型融资，出资方是亚马逊、谷歌、微软、Salesforce 和英伟达，它们出的并不是普通的风险投资支票。ServiceNow 已经有了一个爆发式的季度，部分原因在于 AI。替换周期和大厂的投入，是从两端看同一个故事。

在 AI 的世界里，一年就像狗年，所以一个月前已经很古老了。红杉资本的 David Cahn 写过《AI 的 2000 亿美元问题》：考虑到支出规模，你需要数千亿美元量级的回报才能证明它的合理性。对她来说，Meta 的财报超预期，就是一天之内给出的答案。公司说，2024 年的资本开支将达 300 亿到 370 亿美元，由 AI 和服务器驱动。扎克伯格谈到了 60 万块 H100 当量的算力，还说“没有给别人留位置”。多年来让股东愤怒的资本开支，体现为更好的定向投放、转化、推荐、参与度和广告投资回报率，外加整个行业都在推进的成本控制。这个交易时段增加了 1970 亿美元市值，是在英伟达自家财报超预期之前最大的单日增幅。在 250 亿到 300 亿美元的资本开支之上，就有 1970 亿美元的企业价值增量：你应该继续做下去。

Yuri Milner 曾给 Gil 看过一张图：创业公司总市值的增长，与当时的 FANG 公司群做对比。最大的几家公司，增加的市值是整个创业生态系统的五到十倍。他认为，AI 的短期走势可能与此押韵：最终会从零开始长出巨型 AI 公司，但在未来几年，大部分增量市值会落在现有公司和少数模型实验室手里。两人还不断开玩笑说，现在是开对冲基金的好时机，这也是原因之一。Guo 其实会用一个视角来运营一只基金：按照 AI 如何冲击业务，来做多、做空公司。很多服务类公司正处在自动化的瞄准之中。唯一的问题是，哪些管理团队有资本、人才、胆量和信念，像扎克伯格那样在人们愤怒的时候继续投资。她猜测，尤其是对服务类公司而言，大多数都无法完成转型。

Klarna 公布了那些让抽象概念变得具体的数字。一个由 OpenAI 驱动的助手，在头四周里处理了 230 万次客服聊天，占咨询的三分之二。满意度与人工相当，准确率更高，重复提问下降了 25%，处理一件事务的时间从十一分钟缩短到两分钟。它全年 24 小时在线，覆盖 23 个以上市场、35 种以上语言，所做的工作相当于 700 名全职客服。Klarna 大约有 3000 名全职客服，所以这个机器人把人力需求削减了约四分之一。公司还提到了更长期的社会问题。Gil 的版本更窄也更尖锐：还要多少年，每家企业才会意识到，用简单的应用就能削减某些类型的客服？Guo 认为，采用会一个用例一个用例地推进。早期采用者承担风险。一旦有一家支付公司展示出更好的客户体验，或者真正压低了运营成本，行业里的其他公司就必须跟上，才能保持竞争力。这类事情先是慢慢发生，然后一下子全部到来。他们认为，我们仍处于“慢”的阶段。

Gil 让团队研究了全球服务业。美国软件支出每年约 5000 亿美元。生成式 AI 可能触及的人工服务工资总额是 3.5 万亿到 5 万亿美元。只要把其中 10% 转化为 AI 收入，市值上就等于重建了整个美国软件产业。按行业逐一看，可以问钱会流向哪里：内部工具、一家新公司，还是 Zendesk 这样的在位者。Klarna 选择了自建。你也可以设想，Sierra 或者别的什么公司，会为那些不打算自建的公司占据这一细分市场。这里的反馈循环很便宜：会话结束时的点赞、点踩，以及一个使用越多、产品就应该越好的训练集。Guo 看了看谁已经这么做了。Meta、Square、Shopify、Klarna，任何拥有大型电商或中小企业广告主基础、又有技术团队的公司，都已经上线了一些东西，而且有效。如果它在支付和电商领域行得通，其他人都应该跟进。能搭建电商的零售商，未必会自己做客服机器人；那正是在位者或新公司能拿下这一细分市场的地方。

Gil 在内部维护着一份应该存在的公司清单。其中大多数显而易见的公司并不存在，或者刚刚起步。他把 AI 人才分成三波。第一波是离模型最近的研究人员，他们做出了早期的模型公司和早期应用，比如 Perplexity、Harvey，那些本来就懂行的人。第二波是基础设施的人。第三波将是应用开发者，其中许多人直到 ChatGPT 出现（大约是本期录制前十五个月）才注意到这件事的重要性。离开工作要九个月，找到联合创始人要几个月，做原型又要几个月：应用浪潮几乎还没有显现。有半打医疗病历记录应用正在快速增长，而还有整块的领域无人涉足。Guo 重复了一个圈内玩笑：基础模型公司就是来替代所有工作的，可它们对任何一份工作都毫无了解。机会在于，那些真正懂某个领域的优秀工程师，在这个领域的边缘做实验。她的团队在一场 AI 落地会议上的说法是：2023 年是基础设施，2024 年则是应用开始出现的时候。

如果有人已经在赚钱，别人就想要第二个来源。按 Gil 的列举，英伟达所谓的护城河是芯片性能、CUDA 和互连。互连这部分来自 Mellanox，这是英伟达在 2019 年以约 50 亿美元收购的以色列公司，以当时英伟达的市值看，这笔钱不小。CUDA 已经做了好几年。挑战者至少需要性能良好的芯片、用好它的方法，以及扩展它的办法。AMD 是现有的追赶者。在创业公司一侧，他点名了 Groq，它在开源模型和语言模型上的推理非常快；还有 Cerebras，它在芯片本身上走了另一条路。Etched 等较新的公司谈的是为 Transformer 架构专门设计的芯片。历史上，最先进的芯片市场通常都有一个领先者和一个亚军：微处理器里是英特尔，然后是 AMD；移动领域是高通和 Arm，如今市值分别为 1760 亿美元和 1400 亿美元，比过去更接近了。他不确定这个规律在 AI 领域是否依然成立。

黄仁勋较少谈论单个芯片上的晶体管，而更多谈论内存管理和整机性能，有人称之为“黄仁勋定律”。Guo 补充了制造环节。即便是无晶圆厂的设计公司，也必须在台积电拿到产能、提高良率、达到价格。CUDA 自 2006 年起就已存在。两万亿美元的市值，以及比英伟达能满足的更多的需求，使挑战它的经济压力前所未有地高。她认为，护城河仍然非常深。一条路是延迟优化的系统；另一条是只为 Transformer 设计的芯片，这是对架构稳定性的一场押注。长期以来，这场押注看起来很好。不过，状态空间模型（state-space models）最近又引起了兴趣，比如 Cartesia 这类公司，这意味着架构本身有一定的弹性。拥有单一内部工作负载的巨头，比如 Meta、谷歌（广告、搜索、推荐、垃圾信息过滤），并不需要完整的软件生态。它们只需要一个应用跑得很好，这正是 TPU 和 Trainium 得以出现的原因。她很希望在这个领域遇到一家能帮她跨过门槛的公司。即便在这样一个肥沃的市场里，她还没有遇到。

晶圆代工的话题，主要围绕台积电和少数几家能够承担大规模产能的厂商。美国推动制造回流，却在环评和工艺延误上碰了壁，而这些工厂要花好几年才能建成。Gil 说，日本其实正在建设晶圆厂，也可能在地缘政治上成为第二来源，作为对台湾局势的对冲。台积电的 CEO 谈人力资本和文化，与谈资本开支的时候一样多。Guo 想知道，答案会不会是日本、墨西哥、东南亚，或者更广泛的供应链，又或者是机器人来造芯片。Gil 反驳了“美国做不到”的想法。英特尔在美国制造芯片已经几十年，良率很高；德州仪器也一样。能力是存在的。文化积累集中在台湾，其次是韩国，但首要问题是先动工。英特尔在美国的工厂一切正常，只是工艺上也落后。双方都同意，这更像是英特尔自身的问题，与国家的人才储备关系不大。问题在于良率和成本，也许在一段时间内，芯片并不需要完全具备成本竞争力。

Gil 对这个领域的诚实总结是：他了解 AI 越多，就越觉得自己懂得少，这与他做过的其他领域正好相反。知识通常会不断累积。在这里，一周的新闻就能重建世界模型。他把这称作一种有趣的疲惫，是指数曲线的早期斜坡。很多工作曾被压在大公司内部，如今在外部蓬勃发展；这带来了竞争压力；大厂做出反应；人才离开去创业；大厂又以巨额的后期融资资助这些公司，并承担了整个行业的大部分算力开支，比风险投资多一个数量级，甚至两个。创业公司推动大厂加速，大厂又催生更多创业公司，而这些公司又由大厂出资。Guo 会补充一个商业闭环：一旦像 Klarna 那样的工具真正改变了损益表，其他竞争对手也必须这样做。叙事漂移，也就是 CEO 们说 AI，只因为市场想听这个词，已经体现在预算上了。她引用的一份投行调查显示，财富 1000 强企业的 IT 预算占比，今年将从 3% 到 5% 升至 5% 到 8%，这全是因为 AI。那大约是两倍。他们以一个戏谑的名字收尾，为这个产品闭环起名：RLPA，即通过产品采用反馈进行的强化学习。