广密：Self-play RL 可能开启 AGI 的新 Scaling Law

广密开场把强化学习称为过去十年少数真正的范式级变化之一。他说“草莓”更像 OpenAI 的项目代号，RL 才是背后的方法；Q* 可能是这条路线较早的缘起。

他用基因与成长作比：语言预训练像人类漫长进化积累的基因，强化学习则像个体一生的学习。广密担心语言预训练近期已遇到瓶颈，也提出一种可能：不做 RL 的公司会不会错过下一波浪潮。

张小珺介绍这是《全球大模型季报》第四期，聚焦硅谷 AGI 路线转向。她说，纯靠语言预训练的 Scaling Law 可能遇到瓶颈，明星公司正把资源押向 self-play 强化学习，但这一判断还只在少数研究者中流传。

张小珺进一步说明，第四期将讨论 OpenAI 的“草莓”、Anthropic 的新模型，以及硅谷研究圈开始转向 self-play RL 的迹象。她希望借这期节目拆解强化学习与传统预训练的差异，并判断它是否能延续模型扩展带来的进步。

张小珺问广密最近最关注什么。他说，语言模型预训练的边际收益是否已经递减，是决定技术革命会不会暂时停滞的关键问题；现在还不能确定旧路线是否真的走到了尽头。

广密把当前判断分成两种各半的可能：传统 Scaling Law 可能已经失效，也可能继续把模型推向 AGI。证据还不够，所以不能断言预训练终结，但只增加参数、数据和算力，已经越来越难获得明显跃升。

从参数看，最强模型已是数千亿参数的 MoE，但行业还没有展示把规模提升到两三万亿后能稳定得到数倍收益。模型越大，训练和结构设计也越复杂，能力增长规律本身尚未完全摸清。

广密指出，参数量继续从数千亿扩大到数万亿，短期收益未必同步增长；数据从二十万亿 token 继续扩张也很困难。除规模问题外，训练复杂度和数据质量都需要新的方法解决。

数据也接近现实约束：高质量文本可能已在十几到二十万亿 token 的量级，后续每月增加一些数据并不难，但扩到五十或一百 trillion 很困难。合成数据还没有根本突破，简单改写旧数据未必提升推理能力。

高质量推理数据比单纯扩充文本更重要，合成数据目前大多仍是在改写旧内容。广密认为，模型能否学到新的逻辑能力，取决于训练样本是否带来真实的新信息，而不是重复灌入更多文本。

算力同样难以短期倍增。H100 集群规模已到数万张充分互联，下一代 GPU 大规模到来前，单靠硬件未必能迅速支持更大模型；这些因素共同构成预训练继续扩展的限制。

如果 GPT-4o 难以大幅跃升，广密列出几种解释：当前扩展幅度还不够、超大 MoE 训练工程困难、数据质量不足，或者更根本地说，纯语言预训练的 Scaling Law 本身在更大规模下开始失效。

他把大规模训练比作发射重型火箭或芯片流片，参数越多，工程失败因素越复杂。即使新一代 GPU 到来，也要解决 MoE 路由、数据质量和训练配置等问题，模型扩展并非只由算力决定。

广密认为多种瓶颈相互叠加。两三万亿参数的 MoE 难训练，H100 集群利用率和稳定性也有限；即使做 Dense 模型，训练效率也可能较低。视频等新数据如何进入训练，仍是未解问题。

张小珺总结出三条替代路线：多模态、十万卡集群和强化学习。广密说视觉数据尚无明确证据能单独涌现推理能力，机器人数据也未能跨设备泛化；多模态未来可能需要新的基础架构。

十万卡集群是另一种押注：如果当前处于算力不足的“真空地带”，更大规模也许会带来惊喜。但集群规模越大，故障频率和运维难度都会上升，十万卡训练可能是前所未有的工程挑战。

广密也承认，十万卡集群可能给 Scaling Law 留下一条路；如果有人把超大集群跑通，可能会让行业意外。但数万卡集群每隔一段时间就有故障，规模继续扩大后维护与有效利用率都是挑战。

广密把 self-play RL 视为最有范式意义的一条路。多模态、超大集群和 RL 可以并行探索，但公司资源有限；如果由他决定，他会把绝大部分资源投入强化学习，因为它的能力上限看起来最高。

他特别看好 Claude 3.5 从 3.0 到 3.5 在代码、数学上的提升，认为强化学习可能是背后的重要因素。接下来，张小珺请他解释 RL 的基本概念以及 self-play 与传统方法的区别。

广密回忆 2018 年 Ilya 曾在 MIT 讲强化学习和 self-play，并用一句话概括其机制：让 AI 用不同路径尝试新任务，若结果超过预期，就更新神经网络权重，让模型更倾向于重复有效做法。

强化学习先要有环境。下棋时环境是棋盘，训练狗时环境可能是主人家和小区；智能体在环境中观察状态、选择动作，环境变化后再提供奖励信号，告诉它此前的探索是否让目标更近。

广密用狗作例子解释智能体：狗观察环境、做出坐下或握手等动作，并通过零食等奖励学习。把狗换成大模型，模型就是 agent，文本、代码或其他输出是动作，而奖励需要判断输出是否真的有效。

大模型的奖励信号远比给狗零食模糊。ChatGPT 每天有数亿用户，但用户常常很快切换话题，点赞和点踩也含有噪声；如何定义有用、正确、推理扎实的反馈，仍是奖励模型的难题。

广密用探矿打比方：如果没有藏宝图，可以派很多探测员尝试不同路径，但判断不准的“鉴宝能力”会把宝藏漏掉，或把垃圾当宝。这里的鉴别能力就像奖励模型，探索和评价必须同时可靠。

训练马拉松选手也类似。模型已经读过大量知识后，可以不断尝试训练方法、饮食和动作，再根据成绩反馈更新策略；若它学会利用规则漏洞，例如用兴奋剂取巧，就需要重新设计奖励和约束，这也涉及 AI 安全与对齐。

他用运动员训练进一步说明奖励机制：模型已掌握大量知识后，可以尝试不同训练、姿势与饮食，再根据成绩不断修正。如果模型钻规则空子，就要更新规则，这既是奖励设计问题，也是 AI 安全与对齐问题。

如果基础模型变强，每个人都可能拥有许多并行探索的“特种兵”，自己则像教练一样指导它们。代码和数学容易定义目标、衡量结果，因此是当前强化学习更容易突破的领域；其他领域的奖励标准更模糊。

张小珺问 RL 应该与什么相比。广密说，语言模型主要利用已有数据，强化学习则强调探索：给它一个较粗的目标，让它尝试实现路径。AI 的监督、非监督和强化学习三大范式中，只有 RL 明确要求自主探索和连续决策。

强化学习强调长程探索，预训练模型则主要复用已有知识。广密认为 RL 让模型能在粗略目标下尝试多种路径，弥补语言模型擅长利用知识、却很少自主发现新知识的短处。

Self-play RL 与传统 RL 的关键差异，是智能体本身规模提高了数个数量级；早期 AlphaZero 的网络与今日语言模型相差很大。RLHF 更偏向让模型符合人的偏好，self-play 则更希望提升逻辑与解题能力。

RLHF 更重视让模型回答符合人类偏好，self-play 则希望模型探索更严密的逻辑与解题策略。广密认为两者目标不同；目前 self-play 在代码和数学上已展现提升，其他任务还需要验证。

目前 coding 和数学已显示出 RL 能力提升的迹象，但其他领域尚未得到同样证明。广密把语言看作人类历史知识的高密度压缩，也看作目前少数具有广泛迁移性的表征方式。

语言可以用不同方式描述同一事物，也能在上下文中灵活表达，因此比只会下围棋的 AlphaGo 或只做人脸识别的视觉系统更容易泛化。广密认为，语言预训练可能是通向 AGI 的过渡性“拐杖”。

语言能用不同表述覆盖同一事物，且容错性强，因此比围棋或人脸识别等专用能力更容易迁移。广密将语言预训练看成走向通用智能的中间支架，而不是必然的终点。

他把预训练比作人类基因组，把强化学习比作个体成长：出生后不断接受正负反馈，学习达成目标。无论靠什么路径，能否形成真正通用、可迁移的能力，才是通往 AGI 或超级智能的关键。

强化学习像人的成长过程：从出生起不断接收正负反馈，再形成解决任务的能力。要让模型真正通用，既要利用语言积累的知识，也要让它在任务和环境中主动探索。

语言模型和 RL 更像接力关系。没有足够聪明的基础模型，self-play 探索能力有限；广密估计至少要达到 GPT-4 或 Claude 3.5 的水平，RL 才能有效探索。预训练仍是必要的第一步。

但互联网文本终会被学完，self-play 能用计算生成更高质量的新案例，弥补数据不足。AI 甚至可能在棋类和游戏里探索出人类未曾尝试的策略，再把合成经验用于后续训练，形成预训练与 RL 相互增强的循环。

广密把 Claude 3.5 Sonnet 视作转折信号：代码和数学能力显著提升，Anthropic 似乎把新模型和强化学习列为主线。RL 研究并非刚出现，真正变化是语言模型变强后，self-play 开始变得有效。

广密认为，Anthropic 很早就重视 RL，Claude 3.5 的代码与数学能力变化让 self-play 的效果更加可见。预训练边际收益递减的迹象，则是在近几个月才逐渐显现，很多人还没有意识到变化。

他预计 RL 的上限取决于奖励能否迁移到代码、数学以外的领域。如果奖励模型无法泛化，RL 可能只能在少数可验证任务中变强；但若 coding 能力足够强，自然语言也能驱动实时编程，扩大数字化生产。

广密判断，只有一两家公司已经把 RL 放到最高优先级，并为它配置最多算力。市场当时期待 Claude 3.5 Opus 和 OpenAI 的草莓项目，他预计 coding、数学能力会显著加强，但具体发布节奏仍不确定。

他预计新模型会继续变强，但不确定会不会以 GPT-5、GPT-6 这样的参数规模递增来体现。未来较小的模型也可能更聪明，因为单位参数承载的能力仍有提升空间。

若只靠参数 Scaling，短期内 GPT-5、6、7 式的代际跃迁未必明显；模型仍可能逐代变强，只是未必继续用更大参数量实现。未来一个更小的模型也可能比今天的 GPT-4o 聪明很多，AGI 不一定需要巨型模型。

奖励模型跨领域泛化仍有难题。代码与数学可以自动验证，物理和医疗需要漫长实验或临床验证；法律、金融没有标准答案，创意内容还可能因剧情反转而产生不稳定偏好。垂直领域或许要分别设计奖励信号。

广密也期待架构层面的新突破，不一定永远沿用 Transformer。可解释性研究不只是解释既有模型，还可能揭示哪些参数在特定任务中起作用，帮助设计下一代模型；这类进展或需要少数顶尖科学家。

Google 收购 Character.AI 创始人 Noam，广密视为上半场结束、下半场开始的信号。新阶段的主角可能是 self-play RL，而不是继续单纯扩大预训练；进入这场竞争的公司不会很多。

RL 不是一个单独模型，而是一整套系统：智能体、环境、动作和奖励模型都要设计。最核心的变量可能是 agent 与 environment；强化学习利用推理时计算进行探索，再把探索成果转化为训练数据。

这会重新定义 Scaling Law。计算量不再只随参数增加，还取决于 self-play 推理时要探索多少路径。广密估算，为 GPT-4 或 Claude 3.5 规模模型生成一万亿 token 高质量推理数据，可能耗资约六亿美元。

如果模型能在 RL 推理阶段合成大量高质量数据，训练成本仍可能大幅增加，但不再只依赖更大预训练集群。推理任务的硬件要求相对不同，探索过程也有很多无效尝试，效率将决定成本。

推理探索未必必须依赖最先进 GPU 或十万卡集群，成本仍可能很高，且大量探索路径最终无效。若提升探索效率，所需资源会下降；其他芯片也可能参与推理，但英伟达仍有很强的性价比优势。

即便短期 GPU 订单增长，广密仍认为长期芯片需求难以线性外推。AMD 或专用芯片可能承担部分推理工作，不过英伟达凭借生态和性价比，仍可能适应新的训练与推理范式。

广密提醒，短期订单可能支持英伟达增长，但长期叙事会随 AI 范式变化而调整。self-play 阶段仍会需要大量计算，只是计算资源可能从预训练集群部分转向推理探索，GPU 需求如何变化尚难判断。

研究者对 RL 转向的共识仍局限在少数核心团队。广密估计只有数百人真正知道怎么做，其他公司即使认同方向，也未必有相关研究人才、经验或管理层支持。

他认为范式转移尚未形成广泛共识，可能只有数百位核心研究者真正理解怎么做 RL。许多人知道强化学习重要，却缺少相关人才和方法；不少公司管理层也还没有将它纳入主线。

他认为对 RL 的批评也包含学派竞争，但重大科学突破常伴随大量试错。预训练瓶颈一度让他悲观；进一步思考后，他更相信 self-play 能打开新的能力天花板。

杨立昆批评 RL 浪费实验资源，广密反驳说，重大突破往往需要大量试错，就像爱迪生发明灯泡也经历许多失败。他认为不同研究流派都有道理，只是科学家也会为自己的路线辩护。

预训练瓶颈最初让广密对 AGI 更悲观，但几个月思考后，self-play RL 反而让他看到更高的能力天花板。他用 Claude 3.5 写代码的体验作证，认为 RL 开启后，通往 AGI 和超级智能的路径更清晰。

他提出两个观察 RL 进步的指标：模型能独立写出的可靠代码行数，以及在数学测试中不依赖人工干预、最终能否全部做对。速度未必最重要，关键是模型能否通过自我探索持续提高解题质量。

广密认为 OpenAI 和 Anthropic 在新型 RL 上可能领先，DeepMind 的传统强化学习人才强，但管理层是否重视仍不明朗。接下来市场将观察新模型表现，以及中国公司是否能用强底座和有效奖励设计追赶。

广密说，语言模型与 RL 是乘积关系：基础模型能力弱，即使 RL 变化很大，最终能力仍有限。新范式可能让创业公司获得机会，但前提是先有足够强的底座模型，才能有效探索和生成训练数据。

他把硅谷 AI 市场分成大模型核心与外围赛道：搜索、编程、视频生成和机器人。Coding 是目前最兴奋的方向之一，Devin、Augment、Magic、Poolside 等公司估值都很高，Cursor 也快速出圈。

Cursor 的增长与 Claude 3.5 Sonnet 的代码能力提升有关。广密把 Claude 比作手机摄像头，把 Cursor 比作围绕摄像头打造的拍照应用；当前产品主要服务专业开发者，但仍处在早期。

他期待面向大众的自然语言编程工具。Photoshop 服务专业设计师，剪映和短视频工具却触达数亿普通用户；类似地，用户未来可能直接描述日常需求，让 AI 创建过去没有软件满足的个性化程序。

这种产品可能成为“任务引擎”：搜索引擎组织信息，任务引擎则替用户完成事情。它最终由 ChatGPT、现有搜索公司还是编程工具公司实现，目前还不好判断；只做专业开发者的市场空间相对有限。

广密觉得 Cursor 可能成为当年最贴合模型能力的产品，但 coding 的付费用户规模不如搜索广告大。如何从专业开发工具下沉到大众消费市场，可能才是大公司发挥分发优势的机会。

除 Coding 外，广密看好视频生成。Sora 之后半年间，人物动作从生硬变得流畅，给行业指明了扩散模型路线；他认为大众创作与内容产业的潜在规模，可能被低估。

当生成视频足够可控，个人也能创作影响力很大的内容；电影从剧本到成片、营销的成本或许会大幅下降。广密畅想 AI 能否创造更多李白、杜甫、毕加索或梵高，让过去无法实现的创意落地。

视频生成的早期应用也许先出现在游戏，因为互动和可控性要求与电影不同。这个市场格局目前不稳定，技术路线各异，广告、动画和电影使用的数据不同，未必会像语言模型那样赢家通吃。

视频生成窗口可能持续三四年，创业公司需要贴着技术变化走，新的架构仍可能出现。广密还看好视频理解：若智能眼镜普及，第一视角影像可以揭示人类日常行为规律，也可能给机器人提供重要数据。

语言仍是最难、竞争最激烈的模态，模型厂商的领先格局可能逐步稳定；视频生成的座次却可能大幅变化。广密倾向于语言模型作为底座、叠加视觉等模态，但视频能力也可能独立发展。

他不敢预测哪家视频公司会胜出：Runway、Pika、Luma 等产品各自出圈，Sora、字节和 Meta 也有资源优势。未来三四年会是关键竞争期，当前投资任何一家初创公司都面临较高风险。

通用机器人同样是明星赛道，但广密说这更像基础科学押注，而不是成熟的投资生意。当前硅谷人形机器人公司多仍是研究实验室，能否两三年突破还是需要十年，没有把握。

要推进通用机器人，需要几十亿美元级别的资源和足够多试错机会。若基础研究长期没有突破，人才可能被大公司收购；真正的难题是跨设备泛化，目前在 A 机器人收集的数据，往往无法直接用于 B 机器人。

机器人公司的产品定义也不清晰：家庭机器人究竟要洗衣、搬箱还是处理餐具？许多演示只在特定场景有效，真正把衣物放进洗衣机、再转入烘干机仍做不到。要让通用能力可信，必须先解决跨任务泛化。

广密觉得中国供应链和机器人本体更强，国内公司可以选定场景、定义硬件并端到端优化；硅谷更愿意投机器人大脑。机器人或许并非一套模型适配所有硬件，而需要模型、设备与数据共同优化。

他把中国路线比作 Tesla：先有出行等刚需产品，再逐步转动数据飞轮。硅谷机器人大爆发可能还要五到十年，一批公司未必能直接做成产品；眼下通用机器人投资仍偏早。

谈到国内和硅谷的机器人团队，广密认为中国硬件与供应链优势明显，硅谷 AI 能力更强。如果能把两边结合起来会最好；语言模型、多模态、具身智能到世界模型，可能是 AI 逐步发展的路径。

他也看到华裔研究者和回国人才增加，但认为研究文化不仅由人才决定，还依赖经济基础、创业环境和长期愿景。中国可以从供应链优势出发，解决具体场景问题，不一定一开始就追求最强 AI。

如果期待家庭或工厂里能完成所有任务的通用机器人，现在显然不是最佳投资时点；但行业资源聚集也可能带来基础模型进展、实验设备市场和周边技术。通用能力仍取决于尚未发生的科学突破。

过去十年的机器人公司商业化并不充分，很多团队如今追求人形形态，却未必投入足够技术研发。若只有外形、没有真实任务能力，公司最终仍要回到特定场景；消防和军用可能有需求，但也主要是专用设备。

回顾过去一年超出预期的公司，广密提到 Anthropic 从落后约一年半追到模型领先，以及 AI 搜索 Perplexity 的成长。OpenAI 大体符合预期甚至略低，而强化学习路线提早进入视野则让他惊喜。

广密认为通用机器人公司仍要先找到清晰的产品目标；只做出人形并不够，技术投入必须能转向具体任务，否则融资再多也难以证明产品价值。

广密说，机器人公司过去十年商业化仍未做好；如今不少团队先推出人形外观，但真正投向通用能力研发的并不多。若技术迟迟不能落地，公司就得先找到愿意付费的具体用途。

他提到军用和消防场景可能因人的生命价值高而更容易成立，但本质仍是特定领域设备。回顾行业超预期表现时，他点名 Anthropic 和 Perplexity，也认为强化学习路线提早到来让 AGI 路径更清晰。

移动互联网的明线是新增数十亿用户，暗线则是用户行为数据推动推荐系统；大屏幕、摄像头和 GPS 又催生短视频、网约车等大公司。广密认为 AI 的明线仍是 Scaling Law，背后由计算推动。

AI 的暗线可能不是成本，而是 self-play RL。若未来最重要的能力变成强化学习，不跟进的公司可能错过下一轮，就像没有推荐系统的公司难以在移动互联网做大。Coding、多模态、数学和智能体则是关键能力。

模型能力会渐进提升，应用也会随之逐步解锁。谈到 AI 领域的数据来源，广密认为除了互联网旧数据，RL 过程中 AI 自己产生的探索数据，以及教练式的人类指导数据，可能会变得重要。

他评价中国大模型公司时说，技术辨识度仍不够，许多团队主要把硅谷成果产业化。能够真正投入 AGI 的公司不多，产品仍集中在聊天、搜索和虚拟角色，部分估值由未来愿景支撑。

一些公司去年花几千万美元训练初代模型，达到 GPT-3.5 水平后却可能不再追加数亿美元预训练。广密估计，多数团队会转向开源底座上的后训练，因为继续预训练的收益和风险都难评估。

广密预计国内至少有两三家公司会认真把模型扩展到 GPT-4 水平，并把它视为进入下一阶段的必要条件。若基础模型不够强，后续 RL 的乘积效应也发挥不出来。

他认为中国对大模型的投入仍偏少，基础研究需要厚实经济基础、容忍失败的资金和冒险文化。贝尔实验室等长期研究组织能存在，背后都需要有稳定盈利的公司持续提供资源。

广密认为基础研究需要探索未知的氛围、强者之间的合作碰撞，以及失败后还能再来的环境。研究投资最好由有能力承受风险的公司和资本支持，避免失败成本让科学家承受过大社会压力。

张小珺把话题转到 OpenAI。广密认为公司在 GPT-4 带来的技术领先期，没有充分形成产品或商业飞轮；收入增长虽不错，但 ChatGPT 之外的搜索、插件、图像和视频产品尚未发挥同等影响。

他觉得 OpenAI 的产品发布有时像是在启发整个行业，却没有把技术红利牢牢留在自己手中。ChatGPT 订阅收入不差，但相较于广告，商业模式仍有局限；公司还需要找到更强的数据和产品飞轮。

谈到组织动荡，广密认为多位员工离职不会造成根本性技术停摆，因为核心人才仍在，整体人才密度很高。但创始成员离开可能影响内部信心和团队凝聚力。

Greg Brockman 暂时离开，广密认为技术影响可能有限，但他是对 OpenAI 感情很深的联合创始人。广密不确定他之后会回归、创业，还是转向新的研究任务。

John Schulman 曾负责后训练和强化学习，离开可能更多是为了专注研究。广密认为他到 Anthropic 这样的研究组织，或许能帮助对方，但 OpenAI 还有足够多人才承接工作。

谈到 Ilya 离开，广密猜测他可能更早看到超级智能的路径，与 Sam 对商业化的优先级存在分歧。Ilya 新成立的 SSI 直接以超级智能为目标，可能仍押注强化学习等路线。

广密猜测，Q* 可能是强化学习想法的早期论文来源，“草莓”是项目代号，而 RL 才是方法。他认为，如果基础模型已能做一定推理，下一阶段就要进一步训练模型探索新问题。

AI 目前还没有完全颠覆成熟企业，GPU 和 AI 人才都昂贵，创业公司缺少训练资源。广密将计算资源比作飞行员飞行小时：经验越多，越能有效使用算力；成熟公司也掌握生产之外的分发和消费渠道。

广密认为 AI 收入与基础设施投入之间确实有差距，但“六千亿美元缺口”可能标题夸张，真正直接花在模型上的金额还没那么大。每次技术革命都先建硬件和基础设施，再逐步出现应用与收入。

铁路、芯片、个人电脑、iPhone 和数据中心建设都早于大规模经济收益。广密以 Amazon 与思科的长期市值变化为例，认为应用收入常常要等基础设施建设完成后才显现。

他介绍 AGIX 指数用来观察 AI 产业不同阶段的公司，当前约四成权重在半导体硬件、四成在基础设施、两成在应用。随着建设深入，应用公司的权重和商业价值可能逐渐上升。

Q3 的一个非共识判断是，小模型和开源模型未必能胜任复杂高价值任务。以 Perplexity 为例，同样的问题换不同模型，答案质量和探索体验差别很大；有些场景最后仍需要 GPT-4o 或 Claude 3.5。

广密认为不少明星 AI 公司更像由科技巨头资金支持的研究实验室，而不是传统商业公司。研究成果可以回到资助者手中商业化，这种分工可能像贝尔实验室一样长期存在。

可解释性研究也可能有更大价值：理解大模型哪些参数在不同任务中起作用，能为下一代架构设计提供依据。模型总参数很大，但单次查询激活的部分较少，理解内部机制有助于改进模型。

他对多模态、代码和其他能力是否拥有稳定 Scaling Law 保持谨慎，也不确定后来者能否追上领先者。若 AI 热潮降温，Perplexity 等搜索公司可能被巨头收购；Apple、Tesla 等拥有硬件与分发能力的公司也值得长期关注。

广密认为 AI 的第一阶段主要让科技巨头受益，下一阶段可能出现更多因生产力和商业模式变化而成长的成熟公司。AI 当前更多改变生产环节，分发和消费仍掌握在老公司手里，因此它更可能先重构而非立即颠覆这些企业。