Nathan Lambert：开放模型、前沿实验室与 Trillium

a16z 合伙人 Lisha Li 与 AI 研究者 Nathan Lambert 讨论开放权重模型、前沿实验室和他新成立的非营利研究机构 Trillium。他们追问前沿模型为何领先，以及更开放的研究能否跟上。

Lambert 将模型进步的投入归纳为算力、数据和人才。他认为领先的闭源实验室积累了更多这些资源，并加以组织，较早对新能力进行昂贵的押注。

他比较了自己观察到的 OpenAI 和 Anthropic 的文化与重点，包括推理和编程。这是他从公司外部作出的解读，并非对内部工作的完整描述。

Lambert 认为，发布开放权重模型是许多中国初创公司争取国际用户的务实分发策略。他预计市场上会同时存在领先的闭源模型和紧随其后的开放模型。

一旦前沿实验室展示了某种能力，其他公司就可以以此为目标。Lambert 认为，数据供应商和技术可能随时间扩散，让快速跟进成为可能，即便首家实验室为探索方向投入更多。

Li 问，从闭源模型蒸馏是否是开放模型追赶的主要原因。Lambert 说，中国实验室拥有优秀的技术人才，但通常受到更强的算力限制。

蒸馏可以通过更强模型的输出来转移信息，某种程度上用生成数据的支出替代计算。早期后训练经常使用强模型的回答进行监督微调。

他说，现代推理训练越来越多地使用强化学习环境，很难把旧的蒸馏叙事直接套用到这一过程。蒸馏对当前结果贡献多少，在他看来有很大的不确定性。

根据开放研究，Lambert 认为，仅用最佳模型的推理轨迹做微调，不一定会自动改善另一个模型。他提出了关于中期训练和基础数据的假设，同时强调证据不完整。

他还提到有关大量使用模型代理和收集输出的报道，认为这确实引发了行业实践方面的问题。他并未声称知道这些行为对某个具体模型的精确贡献。

Lambert 认为，实验室可以自行保护产品或限制访问，但他怀疑是否应让政府介入每一次涉嫌违反服务条款的事件。他也承认国家安全和安全问题需要考虑；这些是政策观点，而非法律结论。

Li 提出两方面的观点：模型开发者投入巨大，需要回报才能维持前沿研究；开放模型则为初创公司提供了有价值的选择。嘉宾承认模型供应商、用户和研究者的激励并不相同。

Lambert 认为，闭源实验室整合了训练、推理和分发，因此能更快进入高价值市场。开放模型开发涉及更多独立的模型开发者、托管商和客户，反馈与收入的流转可能较慢。

作为交换，企业最终可能拥有模型权重，在自己的硬件上运行，并用私有数据调整模型。Lambert 说，这些模式的经济关系最终如何稳定，目前还太早下结论。

Li 问，能力不断增强的通用模型会否取代专业模型，还是针对特定数据调整的较便宜模型已经足够好。对话考虑了两种可能，并未断定哪一方会胜出。

Lambert 认为，在较难验证的领域，进展往往依赖获取高质量数据，并构建让模型行动和改进的环境。数学和代码更容易直接检验，而医疗或法律等领域面临不同挑战。

他说，专业团队可能为各个领域定义期望行为、创建数据集并采购额外数据。他猜测能力提升来自泛化与针对性工作的结合，但无法看到每家实验室的全部内部过程。

推理成本下降可能带来新用途，也会改变供应商的收入和利润率。Lambert 认为，需求扩大与价格下降之间最终如何平衡，仍是尚未解决的经济问题。

嘉宾讨论采购的强化学习环境和合成环境。Lambert 说，合成数据仍可能由人指导，供应商也越来越多地使用模型生成或改变环境中的任务。

他提醒，仓促制作或有缺陷的环境可能导致奖励黑客：模型找到获得高分的方法，却没有完成预期任务。他认为，供应商和实验室需要更好的质量控制、安全措施，以及对模型行为的关注。

Lambert 认为，即使部分数据有缺陷，实验室仍在购买这些环境，是因为它们看到了有用的训练信号。他预计随着行业成熟，质量和筛选做法会改善。

Trillium 计划为高价值任务构建并发布开源环境。Lambert 描述了一个终端任务项目：生成合成问题，用模型 rollout 测试，再过滤掉有缺陷的样本。

他认为，开放环境和训练轨迹能让研究者观察行为如何随时间变化。这样的共享基础设施可以支持学术研究，否则单个学生可能缺少所需资源。

Lambert 说，商业数据需求带来了很强的出售激励，使人们不愿公开数据。他解释，Trillium 得名于一种春季花卉，它在树冠长满之前帮助支持更广泛的生态。

他的目标是创建供研究和教育使用的公共资源，包括研究沙箱、失去控制和强化学习期间行为变化的方法。他希望其他人能够使用并改进这些基础设施。

开放协作也面临新的噪声：Lambert 说，一些代码仓库收到 AI 生成的问题报告，其中包含可疑或早已知道的说法。他认为这个问题可以管理，同时仍有许多贡献者愿意认真工作。

他补充说，学习一个领域需要持续关注、阅读和实践。即时生成答案可能让人跳过理解问题所需的时间，以至于无法提出有价值的问题。

Li 转向递归自我改进，即 RSI，以及人们担心前沿实验室通过自动化自身研究而拉开差距。她问，公开证据如何帮助人们理解实际发生的事情。

Lambert 提议长期记录开放实验室的任务、工具、配置和 agent 轨迹。定期比较可以展示模型完成了什么、在哪里遇阻，以及结果如何变化。

他预计开放实验室的任务分布与前沿实验室不同，但认为两者有足够重合，使记录具有参考价值。他希望这些信息帮助研究者和政策制定者根据具体例子判断，而不是依赖神秘感。

在进展容易衡量、经济激励强的领域，模型可能非常擅长提高推理服务效率。Lambert 提醒说，这并不意味着所有知识工作都会以同样速度改善。

Li 问，考虑到巨大的资金需求，开放预训练是否仍然可行。Lambert 说，有用的基础模型不一定需要最大的前沿规模预算，尽管更多算力通常有帮助，新实验室仍须做出有人愿意使用的模型。

Megatron 等开放工具降低了起步门槛，但他观察到，一些公司会 fork 开源代码却不把改进贡献回去。新进入者还面临推出可信的首个模型、为下一阶段筹资的压力。

预训练和推理会共同演化：高效注意力架构可以让长上下文生成更便宜或更快。Lambert 说，预训练、中期训练和后训练的界限越来越复杂。

他认为后训练尤其难以复现，因为方案、数据和迭代周期变化很快。离开 AI2 后，他希望加快这些日益 agent 化任务上的开放研究。

Li 问，闭源实验室通过共同设计模型和 agent 框架，是否获得持久优势。Lambert 说，人们对不同工作流的需求，也促使闭源供应商让模型适用于多种框架。

他说，前沿实验室可能率先协调规模极大的 agent 系统，但一旦工作流的形式被理解，开放模型开发者就可以尝试跟进。算力仍是实际约束，而每项新能力的经济回报尚不确定。

Lambert 预计专业知识和想法会扩散，同时高度整合的前沿实验室可能在高效服务和规模经济上保有优势。Li 说，她的公司同时投资模型供应商和初创公司，因为专业市场可能容纳许多企业。

关于 AI 快速起飞，Lambert 怀疑当前进展是否必然意味着模型会很快摆脱人力和资源约束，自行改进。他指出规模化成本，并说如果出现根本不同的突破，就需要更新这一判断。

他区分了这种怀疑与对安全漠不关心。能力可能从闭源模型扩散到开放模型，他担心公共基础设施和网络安全准备落后于已经出现的风险。

Lambert 主张开展更多开放科学，让更多人能够检查证据，同时承认其他人对最佳平衡的不同看法也有道理。Li 最后感谢他，并表示期待 Trillium 的工作。