Nathan Lambert：开放语言模型的历史、竞争与风险

这篇入门讲座汇集了影响开放语言模型的多个问题，内容来自我在 Harvard 的 AI 安全课程中所做的演讲。尽管人们常把注意力放在 OpenAI 和 Anthropic 身上，开放模型同样影响技术前沿、推动技术在经济中传播，并决定谁能控制和治理它。

开放权重模型允许用户下载训练好的权重，在自己的系统中使用。例如 Meta 的 Llama 和 Muse、Moonshot 的 Kimi、Zhipu 的 GLM、Alibaba 的 Qwen 以及 DeepSeek 的模型。这与只能通过 API 使用模型不同。

我把它们与同时公开训练代码、配方和数据的开源模型区分开来。Olmo、Hugging Face 的模型、Marin、Open Athena 和 EleutherAI 的 Pythia 都属于这一研究传统。这样的发布更便于研究和修改训练过程，但我认为其中最强的模型在性能上落后于领先的开放权重模型。

Meta 于 2023 年 2 月发布的 Llama 成为重要的研究平台，但最初的权重很难获得，也不允许重新分发微调版本。人们通过分发权重差值在本地重建模型。同年晚些时候，Mistral 的较小稠密模型也受到欢迎。

Llama 3 和 3.1 是 Meta 在 2024 年的高峰。DeepSeek 的混合专家架构研究和年底发布的 V3 为 R1 铺平了道路；R1 引发了巨大的市场反应。2025 年，MiniMax、Moonshot、Qwen、Baidu 等公司的发布让中国实验室更加受到关注。

到 2026 年，GLM 5、Kimi K3 等模型在智能体任务上已表现强劲。另一方面，面向研究的项目包括 BLOOM、Pythia、Olmo 和 Tülu；它们的数据和技术报告帮助研究者了解模型如何构建，以及训练方式如何随时间变化。

尽管如此，大部分研究使用的仍是有多种尺寸的开放权重模型系列，从小模型到数百亿参数模型都有。Qwen 已逐渐取代 Llama 成为常见基础。它的主导地位很有用，但我也担心，一些被称为通用 AI 方法的研究结果可能只适用于研究者使用的特定 Qwen 模型。

许可证规定模型开发者与用户之间的使用条款。MIT 和 Apache 2 是常用于模型发布的宽松软件许可证；Linux Foundation 的 OpenMDW 则将 Apache 的思路扩展到模型权重和数据。领先模型越来越多地采用定制条款，而不是完全宽松的许可证。

一种做法是设置收入门槛：Lambert 提到，Kimi K3 和 U Spark Open 的条款要求某些大型推理服务商另行谈判协议。模型开发者希望分享下游收入，因为推理公司也在利用他们的成果赚钱。如何让足够的资金回流以支持下一代模型，仍是未解的问题。

其他许可证加入了品牌标识要求，或限制某些用途。我没有看到品牌条款得到一致执行，但用途限制与开源软件所强调的自由存在张力。可以下载权重，并不等于采用了真正的开源许可证。

自由软件传统最初是一种伦理立场：用户应有自由为任何目的运行程序、研究和修改程序、重新分发副本以及分发修改版本。Copyleft 许可证通过对分发衍生作品的共享义务保护这些自由。开源倡议也发展出更务实的软件开发和采用理念，包括允许专有分支的宽松许可证。

支持开放模型的人有不同动机。公司可能战略性地开放一项技术，以削弱对手并保护互补业务；投资者也有自己的利益考量。作为非营利研究者，我的动机是开放能促进科学进步和理解、安全研究，以及更广泛的人群参与技术变革。

另一些人强调自由和反对权力集中：如果 AI 如此重要，少数公司不应决定人们能用它做什么。Transformer 论文体现了研究共享的价值：我认为，Google 发表论文促成了之后多年的竞争和创新，长远来看惠及社会。

Meta 关于开放 AI 的文章讨论了开发者自由、成本、安全和创新，也谈到将互补品商品化的策略。Google 通过 Android 和 Kubernetes 等项目战略性地使用开源。了解这段商业史很重要，因为并非每次开放模型都出于意识形态。

落后于前沿的公司有动力公开模型：它可以获得用户、关注和人才，同时削弱领先对手。有些公司可能也真心相信广泛开放，但战略解释了生态中的很多现象。类似激励在早期的开源软件市场就已存在。

对客户而言，所有权和控制权可能比价格本身更重要。小型闭源模型也可以很便宜；开放权重则允许机构使用自己的数据适配模型，并保留对结果的控制。Harvey 报告的 Kimi K3 法律任务微调工作，展示了以较低成本提高专业领域准确率的潜力。

访问中国实验室时，我看到公开权重如何帮助 Moonshot 等新进入者获得用户和反馈。DeepSeek 帮助确立了这种模式。Ant Group、Meituan 和 Xiaomi 等公司也会构建内部技术；公开本来就有理由开发的模型，可以获得关注和外部反馈。

这些模型到底有多强？单项基准需要谨慎解读，但在演讲时，Artificial Analysis 估计开放权重模型落后约三个月，Epoch AI 指数估计约五个月。资源更少的实验室能在这些指标上保持如此接近，令人惊讶。

SemiAnalysis 的分析符合我的经验：随着产业成熟，差距在缩小。早期 GPT-4 和 ChatGPT 比 Llama 2 等开放模型完善得多。此后开放权重开发者变得更加专业，实际表现也随着测评分数提高。

基准分数不能说明一切。实验室有动力针对公开测试优化，尤其是金融市场会奖励追赶前沿的迹象。我认为一些开放模型可能在一定程度上过度针对基准，即使分数很高，不同任务上的表现也可能参差不齐。

闭源模型在各种用途上可能更稳定；一些中国开放模型在多模态方面起步较晚，在强项之外的表现也不够一致。不过 GLM、Kimi K3 和 DeepSeek 的 Flash 模型已经是可用的编程智能体。它们的机会是在高价值领域提供更多控制权，并可能降低特定任务的成本。

我展示的数据表明，领先的美国开放权重模型又比领先的中国开放模型落后三到五个月。这给美国机构带来了取舍：是选择前沿性能，还是选择来自更信任的供应商的模型。美国顶级模型开发者较少，尽管情况正在改善。

在一般的成本与智能水平前沿上，开放权重不一定便宜很多：小型闭源模型也可能非常有性价比。竞争也许会降低开放模型价格，但我预计控制权、所有权和专业化比一概而论的价格优势更重要。强劲的中国模型也来自众多公司，而不是只有一两家。

讨论这些模型如何构建时，蒸馏已经成为一个容易引起争议的词。粗略地说，训练过程包括预训练、中期训练和监督微调，之后是强化学习。预训练产生基础模型；后续阶段可以教授推理，帮助模型更可靠、更高效地完成长任务。

模型生成的数据可以进入中间阶段：一个模型的输出成为另一个模型的训练数据。历史上的知识蒸馏是让学生模型学习教师模型的输出分布。在语言模型领域，这个词后来扩大到合成输出；当前的讨论又经常用它指利用 API 模型的推理轨迹训练。

我用“对抗性蒸馏”描述试图提取 API 通常隐藏的推理内容的行为。我认为一些中国实验室开发了类似公开安全研究所展示的方法来提取这些轨迹。这是关于一种具体、狭窄能力的判断，并不能证明每次使用闭源模型 API 都是在提取训练数据。

Anthropic 等实验室描述过中国实验室大规模使用其 API 的情况。其中一些可能涉及推理内容提取，其他用途则包括将用户请求转发给闭源模型。规模和方法的复杂程度引人关注，但我认为仅凭这些事实不能确定它带来了多大的训练优势。

我没有参加私人或涉密简报，也无法评估没有公开的信息。一些提出相关主张的人还在前沿实验室拥有经济利益。我的理解是，获取数据可能比增加算力更容易，而外界往往低估中国自身的模型开发能力。

蒸馏在中期训练和监督微调中可能很有用，但近来的大量后训练进展涉及强化学习等后续技术。我没有看到公开证据能确定总体进步中有多少来自蒸馏。这种不确定性使我们很难把单一技术当成全部解释。

我怀疑禁止中国模型能否阻止相关活动或阻止人们使用开放权重。广泛的软件限制可能削弱美国创新和全球交流。我担心，围绕这一争议制定的政策可能让特定实验室短期受益，却损害长期活力。

前沿实验室也应该改进自身防护。我欢迎 Anthropic 报告的提高 API 蒸馏难度的工作，希望先观察结果，再得出更强的结论。快速追赶前沿可能比实现前沿突破更节省算力，但这不意味着追赶者无法完成困难的工程工作。

并非所有 API 使用都是为了训练。关于 token 转售商的报道表明，中国的一些用户通过中间商访问原本无法使用的模型，有时用户数据也会成为交易的一部分。我认为这些流量背后的商业原因仍未完全弄清。

Xiaomi 公开直播一周强化学习训练的指标，是中国实验室展示训练能力的一个例子。我认为这部分是对蒸馏叙事的回应，也为大规模强化学习提供了宝贵的公开资料。这类工作本身需要大量努力和算力。

Epoch AI 和 SemiAnalysis 的估计显示，算力存在巨大差距。在这项比较中，ByteDance 的算力超过其他中国实验室，而后者的算力又明显少于美国前沿实验室。如果差距也体现在训练上，提高效率和聚焦较窄的目标就尤其重要。

为了衡量采用情况，我在 Interconnects 仪表盘汇集公开数据。推理公司偶尔披露 token 数量，OpenRouter 则发布可以筛选开放模型的数据。这些指标在对数图上显示出快速增长；Google API 用量可以作为粗略比较，但这些数字没有涵盖所有使用情况。

下载量是另一个不完美的指标。Qwen 在很多下载图表中占主导地位，Gemma 也有所增长，但总下载量更容易受到小模型和生态活动的影响。强劲的前沿模型放在同一刻度上可能显得很小。自动流量会推高数字，而下载后的本地使用大多不可见。

在下载数据中，我把 2025 年 7 月称为转折点：中国模型超过了此前领先的美国和欧洲模型。Hugging Face 的活动量在增长，但平台流量只是采用情况的间接指标。对于设计为在笔记本电脑或量化硬件上运行的本地模型等较窄类别，下载趋势仍可能有参考价值。

我还检索了热门机器学习领域数十万篇 arXiv 论文中的模型名称。Llama 最初占主导，Qwen 则迅速成长为研究基础设施。在我的样本中，约 60% 提及大语言模型的论文提及 Qwen；由于一篇论文可以提及多个模型，各类别百分比相加可能超过 100%。

在这项文本检索中，提及 Qwen 的论文数量已与提及 OpenAI GPT 模型的论文接近。这一指标并不完美：提及模型不能证明具体如何使用，也可能漏掉一些引用。不过，趋势仍展示了 Qwen 的增长，以及语言模型在机器学习研究中日益核心的地位。

展望未来，网络安全风险是真实存在的。披露漏洞与实际攻击不同，闭源模型也已被用于攻击。我不认为禁止开放权重能消除风险：恶意行为者可能仍能获取模型，而守法公司会面临不确定性；许多实验室也有能力构建接近前沿的模型。

过去的风险讨论包括有关错误信息的担忧，有些令人担忧的结果没有按预测发生；其他伤害，包括未经同意的深度伪造，则确实存在。我们应该衡量风险，避免在把所有可能性都当成必然与因为某个预测落空就否认危险之间摇摆。

闭源前沿模型领先几个月，可以让研究者在开放权重达到类似能力之前研究新风险，但这个窗口很短。实验室需要与政府和社会清晰沟通。我预计这一转型将持续数年，并出现需要协调和实际应对的新风险。

我认为 Moonshot 报告的降低 Kimi K3.1 部分网络能力的决定，是在发布权重时考虑边际风险的有益例子。不同实验室对风险的态度不同。中国实验室处在不同的政治和经济环境中；我们应该理解其激励，而不是假定每次发布都不负责任。

开放模型也能支持网络防御，闭源系统同样可能帮助攻击。生态中积压着大量漏洞，我们也不了解攻击者未来的行为，因此不应假设禁令能立即带来安全。生物风险涉及不同的物理瓶颈；我需要进一步学习，而不是把它们视为与网络风险完全相同。

归根结底，我认为开放模型有助于传播技术、限制权力集中，并支持安全研究和科学探索。我们应当谨慎对待仅仅出于恐惧而放弃开放的做法，转而根据实际可以衡量的风险作出判断。