李广密：预训练、智能体与通向 AGI 的路线图

张小珺请广密回顾 2025 年第一季度的大模型进展。广密说，他希望帮助听众区分通向 AGI 的主线和沿途值得重视的方向。

广密的一个非共识判断是，基座模型预训练仍有很大空间，新一代模型可能显著进步。他认为不能因为某一家领先公司的进展变慢，就断言整条路线结束。

他认为预训练决定模型的内在能力上限，后训练和强化学习则主要激发或加强这些能力。他承认此前自己曾认为预训练可能结束；至于推理模型能否突破上限，他也说目前没有标准答案。

对于 OpenAI 在预训练和推理模型上的相对重心，他从外部提出战略和组织两种解释：推理模型可能更快改善评测，ChatGPT 增长也会吸引管理注意力；人员变动可能影响团队。

广密提出，强化学习产生的合成推理数据可以反馈到预训练，甚至探索在预训练中使用强化学习。他也指出，训练和推理采样框架的融合对基础设施提出了难题。

他期待新能力涌现，尤其是调用电脑工具。广密把 Manus 看作展示模型工具使用能力的产品例子，认为产品团队需要为已有能力找到有效的表达方式。

谈到 AGI 时间表，广密在 2025 年初表达了两年内实现的极高信心。这是他当时的预测；他所描述的能力主要是智能体在数字环境中完成大量人类操作。

他的理由是编程提供了通用的数字环境：代码既能表达任务，也能执行行动并获得反馈。他把代码比作模型的手，并用 AlphaGo 的棋盘说明环境对学习的重要性。

广密说，一个有用的环境应当是动态的、可操作的，模型能看到行动的结果。他认为编程、游戏和科学都具有这类特点，而工具和脚手架可以帮助模型理解、操作环境。

比较编程能力时，他对 Anthropic 的基座模型和工具使用路线表达信心，也承认 OpenAI 未来可能展示更强能力。他认为训练数据、方法与组织优先级都可能影响结果。

张小珺追问，编程究竟是技术路径还是最终产品。广密认为它更像搜索或推荐引擎：底层能力重要，但面向普通用户的交互形态可能不必显露编程细节。

他从外部观察比较 OpenAI 和 Anthropic：前者当时更突出推理模型与消费产品，后者更强调基座模型、编程和智能体。这是他对战略重点的判断，并非两家公司内部计划的确认。

他把路线差异归因于研究能力、管理层选择和组织方式。模型公司的战略并非单靠口号决定，还取决于团队实际擅长什么，以及如何配置人才。

流量与智能哪个更重要，是他看到的一项分歧。他担心过早把消费平台增长放在首位会分散研究资源，主张继续把提高模型智能当作核心目标。

谈及不同技术路线的竞争，广密认为公开结果会加快追赶，但不同组织的研究积累和执行速度仍然重要。他的比较基于当时公开表现与个人观察。

张小珺问，推动边界需要多少人。广密强调小团队中每个人的贡献、想象力和执行力，认为探索性研究未必随着人数增加而线性变好。

他把 AI 的发展比作登山：ChatGPT 是山脚的一个站点，后面还有编程、编程智能体、通用智能体、科学和机器人等山头。这个顺序是他的路线图，而非确定的进度表。

在他的框架里，智能本身是最大的应用；产品可以建立承接模型能力的环境，随着底层能力提升释放新用途。他认为智能体比单轮对话更能体现这种变化。

对于机器人，他认为真正困难的不只是训练一个模型，还包括物理世界的数据、成本和泛化。他建议思考哪些任务可以先在虚拟环境中完成，哪些确实需要实体。

谈到科学研究，广密期待模型帮助研究者提出假设和探索生物等领域，但把爆发时间视为个人预测。他认为科研的反馈和实验环境决定了进展速度。

他注意到针对蛋白质、RNA 等对象的模型，认为这些方向可能帮助处理专家过去需要反复试验的问题。他自己也在学习科学，希望理解模型能在哪里发挥作用。

如果虚拟智能体能完成很多工作，是否仍需要实体机器人？广密认为应当根据任务和经济成本判断，不能把物理形态直接等同于智能的价值。

张小珺问智能的本质是什么。广密从生存、探索和自动化来理解人类发展：探索积累知识和组织，自动化则把有效的经验传递和标准化。

他以搜索和深度研究为例，讨论从一次回答到多步探索的变化。智能体可以反复提出问题、查找信息并综合结果，不过工作量和计算消耗也会随之增加。

广密认为衡量智能进步不能只看单个测试，还要观察系统能否完成更复杂的行动、探索未知并给人带来新认识。他对这些能力的出现速度保持乐观。

他把智能体看成新的产品类别，既包括信息研究，也包括编程和操作环境。不同应用需要不同工具，但都要把模型能力与可执行的任务连接起来。

广密提出智能体的三个关键能力：长上下文推理、工具使用和指令遵循。除了模型，团队还要提供电脑、虚拟机或浏览器等环境，让智能体可以行动并观察结果。

长上下文的重要性在于，系统要把任务、历史信息和多步行动连接起来。他提醒，能放入更多信息并不等于一定能有效理解和使用这些信息。

广密用输电线路比喻长上下文：有了智能，还需要以可接受的成本把能力延伸到更长的任务。他也讨论压缩和记忆，希望系统不必总是重新读取全部历史。

对于未来可能出现的新范式，他提出在线学习：模型与用户和环境互动后，能否持续学习并更新部分参数？他把这作为尚待研究的方向，而不是已解决的问题。

难点之一是何时更新记忆或权重、怎样定义奖励和目标。人类目标本身复杂，单一指标未必能表达什么是好的行为；智能体越自主，这些问题越重要。

广密认为，如果预训练、推理和智能体任务同时扩张，计算需求可能继续增加。他把硬件和基础设施公司的机会与这一假设联系起来，而不是把增长视为确定结果。

谈到模型产品定价，张小珺问每月订阅费能否覆盖不断增加的调用成本。广密说，软件订阅的价格惯例与按使用量消耗算力的模型并不完全相同。

他猜测模型公司的长期壁垒可能来自基础设施平台或操作系统式生态，而不只是发布一个裸模型。这两条路径都取决于开发者、应用和用户是否愿意持续参与。

投资应用时，他重视既能理解研究进展、又能快速做产品的团队。模型变化很快，应用需要持续学习和调整，而不是只围绕某一代模型的弱点建立功能。

广密把产品团队比作承接智能的容器。他认为执行和迭代速度很关键，同时也提醒产品可能受到模型公司功能扩张的竞争。

讨论个人智能体时，他设想拥有长期记忆和持续学习能力的系统可能更理解用户。这个设想依赖高度敏感的个人信息，因此他谈的是假设中的能力，而不是已经获得的访问权限。

在模型公司格局上，广密分别讨论 OpenAI、Anthropic、Google 等团队的研究、产品与组织。他的评价是 2025 年初的主观判断，不能替代对各家公司实际进展的验证。

围绕 GPT 产品和新一代模型的进度，他认为模型发布既受技术进展影响，也受产品和组织选择影响。他承认外界无法完整看到内部情况。

他继续比较模型公司之间的合作与竞争，认为共同使用协议或基础设施并不消除在研究和产品上的竞争。关于各团队动机的解释仍然是他的推测。

对于新模型团队，广密看重人才组合和产品方向，也提醒复制已有能力与推动新的研究突破是不同目标。他对具体团队未来选择的看法只是外部推断。

比较 Manus 与 Perplexity，他认为两支团队都执行力强。Manus 尤其依赖底层模型能力：模型越强，智能体产品就越有机会发挥其能力，但竞争也更激烈。

张小珺问深度研究会走向何处。广密认为它可能整合浏览器操作和编程等能力，向通用智能体发展；究竟走向更强的搜索还是专业助手，他认为尚不确定。

谈到 Devin 和 Cursor，他认为编程智能体的价值会随着模型能力变化，现有交互形态也未必是终点。产品团队需要继续探索新的交互和训练方式。

广密认可 DeepSeek 的基础设施积累，同时希望看到更多基础研究上的范式创新。谈到推动 AGI 的人物，他特别赞赏 Ilya Sutskever 和其他研究者的路线与架构贡献。

张小珺问 Sam Altman 的贡献。广密认为他的想象力和动员能力帮助行业吸引资源，让研究者获得更多算力；对其公开言论的解读则仍是个人看法。

在一个可以自由配置资金的假设中，广密给出偏向基础模型公司的投资组合，并考虑 Anthropic、字节跳动、OpenAI、新研究团队和应用公司。他强调的是当时对团队、估值和研究路线的个人判断。

他认为企业已有收入可以为长期研究提供资金，也指出大组织和小团队各有约束。对 Anthropic 配置更多的理由，是他更相信其团队、基座模型和编程智能体路线。

广密预想智能技术可能催生下一代搜索、操作系统、办公工具以及科学公司。他提出的公司规模和时间都是高不确定性的预测，不应视作投资结论。

他认为组织和文化是仅次于算力的重要竞争力。资源有限时，团队需要敢于选择并放弃其他方向；人才密度和关键岗位的判断力比简单增加人数更重要。

如何判断组织是否真正以 AGI 为中心？他建议观察研究是否受到重视、优秀研究者是否愿意加入、领导者是否理解技术，以及组织奖励什么样的贡献。

展望全球竞争，广密当时看好 OpenAI 和 Anthropic，也认为中国会有多个团队参与。他提到开放模型可能是一条跨越地域边界的路径，但这些都是他的前瞻判断。

他认为大规模训练和强化学习需要扎实的基础设施：采样和训练系统结合后，调试和效率都成为挑战。他看好中国团队的人才与工程积累，同时承认能力追赶取决于具体路线。

他希望大公司能够支持长期基础研究，建设完整基础设施并培养人才，而不仅追求现有产品增长。在他看来，资本、冒险精神、基础设施和文化共同构成创新条件。

他对中国团队实现 AGI 的信心附有条件：现有预训练和强化学习路线需要足够有效，所需算力也不能超出可获得范围。他给出的算力数字只是粗略猜测。

比较硅谷与中国的创新，他认为资本充裕和冒险精神有利于从零探索，而擅长规模化也有价值。他期待中国公司把资源和研究文化结合起来，创造更多原创突破。

他认为 DeepSeek 的出现让行业重新关注模型智能本身。张小珺问是否应停止产品增长投入；广密回答不必停止，但担心增长占据过多组织精力。

讨论全球化时，他设想中国团队做出世界领先产品，认为技术和产品竞争力能够帮助企业跨越地缘障碍。这是他对复杂政治和市场问题的乐观看法，而非保证。

对于华人在硅谷投资的上限，广密认为单纯扩大人脉不够，跨文化信任需要真实的专业贡献。他鼓励深入行业并创造价值，也认为创业能提供另一种发挥空间。

他说自己对 AGI 的信念来自对科学进步的重视，认为新能力会改变产品和商业叙事。他把需求的变化与技术供给联系起来，但没有把任何具体科学突破说成已经实现。

展望未来一年，他期待基座模型继续提升，并提出智能体可能改变搜索和广告。他也承认变化可能从难以预见的方向出现，线性外推只能作参考。

最后，广密谈到自己欣赏的创业者特质：持续识别并抓住新机会。两人以对彼此节目和未来讨论的期待结束访谈。