2023 年 Google 备忘录：开放模型、LoRA 与 AI 竞争护城河

摘要

30 秒看懂

2023 年 5 月，Matthew Berman 阅读 SemiAnalysis 转载的泄露 Google 员工文章《We Have No Moat》。作者认为，低成本适配和社区实验会威胁 Google 与 OpenAI 的竞争优势。Berman 也认为进展速度令人惊叹，但这份文件是一名员工的观点，并非 Google 政策，也不能证明未来结果。早期模型比较、硬件主张和许可条款都需要放在原有背景中理解。

1一名员工的论点泄露的备忘录预测，社区的快速进展将侵蚀专有优势；SemiAnalysis 将其界定为个人观点。
2设备上的小模型备忘录引用 Pixel 6 和笔记本适配示例；性能和资源要求取决于模型与配置。
3有限的质量比较Vicuna 的 92% 数字来自 GPT-4 对 80 个问题的评判比较，不应推广到所有任务。
4低秩适配LoRA 更新少量参数以降低适配成本，而预训练基础模型仍有自身成本。
5生态与许可备忘录认为 Meta 从基于 LLaMA 的社区受益；这并不能确定所有外部贡献的所有权或使用权。
62023 年的快速进展Berman 回顾 LLaMA、Alpaca、量化、Vicuna 等发布，相关日期和结果均为历史信息。

要点建议

SemiAnalysis 表示已核实泄露文件，并将其描述为一名 Google 员工的个人观点，而非公司声明。
早期 LLaMA 衍生模型进展迅速，但原始权重在未经授权泄露之前，是在有限制的研究许可下分发的。
引用的 Vicuna 分数来自 GPT-4 对 80 个问题的评判，并非 ChatGPT 能力的普遍百分比。
LoRA 减少适配时需要训练的参数；低成本微调不包含基础模型最初的训练成本。
Stanford 报告称，初版 Alpaca 7B 使用八块 A100 GPU 训练，而非使用笔记本电脑。
开放权重项目的许可各不相同，并不会自动赋予 Meta 或其他任何一方对所有衍生作品的无限制权利。

主题Open-weight models AI History 微调 AI Strategy

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

泄露的备忘录及其主张

Berman 介绍员工文章及其对开放模型竞争的看法。文件讨论本地设备和快速迭代。

我回顾一篇泄露的内部文章。文章认为，快速改进的开放模型正对 Google 和 OpenAI 构成竞争挑战。2023 年 5 月转载该文件的 [SemiAnalysis](https://newsletter.semianalysis.com/p/google-we-have-no-moat-and-neither) 表示已核实来源，并明确将其描述为一名 Google 员工的观点，而非整个公司的立场。备忘录中的预测仍是一种论点，并非已经证明的结果。

作者认为，当 Google 和 OpenAI 互相关注时，第三方群体正在进步：更广泛的社区正在构建 Alpaca、Vicuna 和 GPT4All 等模型。我认为这种迭代速度令人惊叹。讨论中的“开源”用法较宽泛；不同项目对代码、权重、训练数据和商业使用权的开放程度各不相同。

备忘录提到在消费级设备上运行的小型模型，包括据称 Pixel 6 每秒生成五个 token 的例子，以及在笔记本电脑上进行个人适配。这些例子取决于模型、量化方式和硬件，并不意味着每个基础模型都能在任何设备上运行或在笔记本上从头训练。

作者还提到无限制的图像模型和一个多模态 ScienceQA 结果，认为开放社区进展迅速。我强调定制性和可获取性。存在无限制发布的模型，并不能解决负责任部署、安全、版权或特定许可的问题。

幻灯片 1 / 4备忘录引用的示例作者列举手机推理、笔记本适配和多模态等例子，各自都有适用条件。

备忘录将社区小规模低成本实验与昂贵的大模型开发进行对比，建议与外部开发者合作、支持第三方集成并重视小型变体。这些成本数字对应特定主张，并未包含许多上游成本；它们不能证明 100 美元的实验复现了耗资数百万美元训练的前沿模型。

质量比较与早期 LLaMA

备忘录使用早期 Vicuna 比较，并追溯 LLaMA 发布和泄露后的适配。这些比较和许可都有局限。

幻灯片 2 / 4备忘录中的模型质量比较所示百分比来自有限的 GPT-4 评判评估，并非普遍能力分数。

一张图比较 LLaMA、Alpaca、Vicuna、Bard 和 ChatGPT，在该示意图中 Vicuna 约为 ChatGPT 的 92%。[LMSYS](https://www.lmsys.org/blog/2023-03-30-vicuna) 根据 GPT-4 对 80 个问题的评分得出该数字，并提醒这一方法并非成熟的全面评估。它不是普遍能力百分比，也不能证明模型在编程、数学或所有其他任务上达到同等水平。

Meta 于 2023 年 2 月宣布 LLaMA，并在非商业研究许可下向研究人员提供访问；权重随后泄露。基础模型并未像后来的衍生模型那样经过指令或对话微调。此后社区项目探索了指令微调、量化、评估、多模态等方法。

我提到 GPT4All 的自愿对话分享，将其作为社区数据收集的例子，并称之为基于人类反馈的强化学习。收集对话可以支持后续训练，但本身并不是 RLHF：该方法需要适当的反馈或偏好流程以及训练过程。

备忘录认为，实验门槛大幅下降，使个人能够用相对有限的资源适配模型。这是实验方面的重要变化，但不应与预训练原始基础模型所需的算力、数据和专业知识混为一谈。

图像模型、LoRA 与迭代

Berman 回顾备忘录对图像生成的类比，并解释参数高效适配。训练成本和模型质量取决于具体背景。

作者将语言模型的这一时刻与此前围绕 Stable Diffusion 的社区相比，并将其与 DALL-E 对照。我认为图像生成的进展体现了快速迭代。它们的相对质量和文化影响是评价，并非普遍基准结果；我暗示 Midjourney 构建于 Stable Diffusion 之上，这一点并未由备忘录证实。

备忘录重点介绍低秩适配，即 LoRA。LoRA 不更新每个模型权重，而是用低秩矩阵表示选定的更新，从而减少可训练参数数量。根据具体设置，这可以降低适配所需的内存和成本，但具体节省幅度各异，也不会让原始预训练变成免费（[LoRA 论文](https://arxiv.org/abs/2106.09685)）。

幻灯片 3 / 4LoRA 与参数高效微调备忘录描述低秩模型更新及其降低微调成本的潜力。

我将反复适配小模型与从头重新训练大模型进行对比。作者认为快速迭代可以让小模型更快受益于新数据集和新想法。这能否弥合具体质量差距取决于任务、数据、架构和资源；它是一种预测，而非普遍规律。

我强调数据质量是重要因素，并讨论公开数据集的可用性，以及在线平台访问开始出现的限制或收费。高质量数据可能很有价值，但说质量总是比数量扩展得更好过于宽泛；数据集权利、组成和规模都很重要。

数据、人才与生态战略

作者讨论数据质量、研究人员流动和 Meta 的生态。Berman 将其与 Chromium 和 Android 比较。

备忘录认为，专有公司面临免费替代方案的竞争，研究人员离职也可能传播技术知识。我将这种担忧描述为“人才流失”。人的专业知识会随之转移，但这不意味着他们可以合法披露保密信息，也不意味着竞争对手自动知道前雇主所知道的一切。

文章指出，早期大量社区活动建立在泄露的 LLaMA 权重之上，而公司可能面临不同的许可和合规限制。我认为 Meta 可能从围绕其模型形成的生态中受益。但拥有基础模型并不自动赋予其对所有外部数据集、代码和衍生作品的无限制所有权或使用权；适用许可很重要。

我将生态的战略价值与 Google 在 Android 和 Chromium 方面的角色进行比较。备忘录更广泛的观点是，外部开发者在共享平台上构建产品时，公司可能受益。这些项目的治理和许可安排不同，不能证明任何模型都会获得相同结果。

作者还担心研究人员流动会削弱保密的价值，并敦促 Google 向外部工作学习。这是备忘录作者的判断，并非员工每次流动都会自动共享公司保密工作的证据。

时间线与结论

Berman 梳理 2023 年初的模型发布。他预测开放模型将继续改善，同时承认当时与 GPT-4 仍有差距。

幻灯片 4 / 4LLaMA 发布与泄露时间线备忘录区分 Meta 最初的研究发布与随后发生的泄露。

我回顾备忘录的时间线：LLaMA 于 2 月发布、3 月初泄露，随后出现 Alpaca、量化、Vicuna、GPT4All、Cerebras 模型、参数高效微调、Koala 和 OpenAssistant。这些日期反映了 2023 年的快速发展，但每个项目的能力和条款都不同。

我将 Stanford 的 Alpaca 描述为在笔记本上微调。实际上，[Stanford 报告](https://crfm.stanford.edu/2023/03/13/alpaca.html)称，初版 Alpaca 7B 微调使用了八块 80 GB A100 GPU，耗时三小时；后来社区工作展示了其他低资源方法。报告中的低成本适配不包含预训练 LLaMA 的费用。

最后我说，开放模型在 2023 年仍落后于 GPT-4，但我预计快速迭代将缩小差距。这是我在视频发布时的预测。进展取决于任务和评估，最终竞争结果不能仅从早期时间线推断出来。