Mark Zuckerberg 谈 Llama 3.1、开放模型与 Meta 的 AI 战略

2024 年 7 月 Meta 发布 Llama 3.1 后，我观看了 Rowan Cheung 对 Mark Zuckerberg 的采访片段，并加入自己的评论。讨论涉及 Meta 为什么提供模型权重、希望开发者如何使用它们，以及这一选择引发的安全和经济论点。

Zuckerberg 介绍了 4,050 亿参数模型，以及更新后的 70B 和 8B 版本。他表示最大模型在某些指标上能与领先的封闭模型竞争，并强调它可以作为其他模型的教师模型。比较取决于任务和测试；参数量是 405B，尽管自动字幕写成了“45 billion”。

我认为这次发布挑战了封闭模型供应商：一个能力强且权重可下载的模型，为开发者提供了另一种成本和定制选择。我将其称为首个开放前沿模型，是对 2024 年市场格局的判断，而非适用于所有基准的结果。

我把 Meta 的做法称为“焦土”战略：投资一项技术并广泛开放，降低获取价格并鼓励生态发展。这是我对 Meta 竞争动机的解读；运行模型仍需要基础设施，并非没有成本。

我以 Groq 的推理硬件为例，说明外部供应商如何在速度上竞争，并提到 OpenAI 的 GPT-4o mini 是更低成本的选择。相对吞吐量和价格取决于模型、硬件与工作负载；我的评论不能证明 GPT-4o mini 在每项任务中都与 GPT-4o 相当，也不能证明某种速度优势普遍存在。

Zuckerberg 表示 Meta 在改进较小的 8B 和 70B 模型时使用了 405B 模型。我想知道旧模型与这些更新的具体关系。他对蒸馏的简略描述，不应被解读为较小的基础模型只是 405B 模型压缩副本的证据。

Zuckerberg 将这一机遇与 Linux 相比：专有 Unix 系统早期占据主导地位，但较便宜、可调整的开放生态逐渐获得贡献者、硬件支持和审查。他预计开放模型会走类似道路。这是类比和预测，不能证明 AI 会重演操作系统市场的历程。

他说，即使性能没有领先，Llama 的潜在优势也包括成本、定制和微调。我强调 Meta 决定允许开发者按照其条款，将模型输出用于某些模型改进任务，包括合成数据和蒸馏。

必须区分权重可获取与无限制开源。[Llama 3.1 社区许可](https://huggingface.co/meta-llama/Llama-3.1-405B/blob/main/README.md)包含可接受用途义务，并要求某些超大型平台单独获得许可；Meta 没有公开完整训练数据集。我将其描述为“完全开源”超出了这些事实所能支持的范围。

Zuckerberg 期待合作伙伴围绕此次发布构建工具。我认为，即使权重无需常规模型访问费，建立一个广泛使用的基础也能通过标准和产品为 Meta 带来商业利益。生态系统可以同时惠及外部开发者和 Meta。

我经常被问到实际使用场景，所以转向 Zuckerberg 的解释。他的重点是为开发者提供强大的教师模型，用来针对特定任务蒸馏和微调较小模型，而不是要求每个人使用同一个模型。

Zuckerberg 估计运行 405B 模型的成本可能约为 GPT-4o 的一半。这是他在 2024 年的估计，并非保证价格：实际推理成本会随供应商、工作负载、精度、利用率和日期变化。他强调的不只是价格，还有对权重的控制。

他的愿景是为初创公司、企业和政府提供众多模型，分别适应各自需求。他认为随着能力差距缩小，定制的好处会更有吸引力。差距是否存在以及有多大，因任务而异，不能由单一主张决定。

我预计小型专业模型会在边缘设备上发挥作用，并在必要时通过路由器或多个智能体调用更大的模型。我将这一总体方法与 Apple Intelligence 的本地和远程处理结合方式作比较。这些是设计可能性和我的预测，不能证明小模型总是优于大模型。

Zuckerberg 提到 AWS 和 Databricks 等合作伙伴正在构建微调、蒸馏和部署服务。他预计这些工具会让组织更容易用自己的信息训练模型并选择合适的模型规模。使用 405B 模型仍然需要大量算力。

我认为独特数据可能成为竞争资产：组织可以调整模型以适应内部工作流程，或创建专业产品。数据权利、隐私、评估和实际客户价值仍然重要。我预测独特数据会成为核心竞争领域，并不保证商业成功。

Zuckerberg 解释说，Meta 希望能够使用领先模型，而不依赖竞争对手。移动互联网转型期间的经历塑造了这一目标。我将其理解为 Meta 希望避免通过竞争对手操作系统分发服务时所面对的平台依赖。

他说 Meta 最初为自身需求构建模型，并期望社区开发能增加价值。到了 Llama 3.1，公司在合作关系中采取更积极的角色，让其他公司提供 Meta 自己不会提供的服务。我认为这种生态建设有明显的商业动机。

Zuckerberg 提到 Groq 的低延迟推理工作，以此举例说明合作伙伴如何围绕 Llama 构建服务。我说发布时该服务使用人数众多，自己遇到了容量限制。这是我当时的体验，并非对所有推理供应商的独立比较。

采访转向开放模型对社会的影响。我担心监管可能偏向现有大公司，让小型新进入者更难竞争。我认为某些公司主要为了排除竞争而寻求监管，这是对激励的解读，并非已经证实的动机陈述。

Zuckerberg 认为可获取的模型能让生产率和创造力收益扩展到少数大公司之外。他还相信开放开发最终可能比封闭开发更安全。这两点都是有争议的预测，仅有访问权限并不能保证收益均等分配或防止滥用。

我认为广泛审查可以暴露缺陷并促成修复，同时也承认存在反例。模型权重不能揭示每个训练样本，也不能保证所有问题都会被发现。AI 系统的安全取决于设计、部署、监督和威胁模型。

Zuckerberg 将意外伤害，例如系统出现意料之外的行为，与蓄意滥用区分开。对于前者，他预计开放模型及 Llama Guard 等安全工具受到更多审查，会帮助发现并修复问题。这是他的论点；具体防护措施的效果仍需评估。

对于蓄意滥用，他区分资源较少的行为者和资源雄厚的组织。我引用 Yann LeCun 关于用 AI 防御 AI 的想法，认为更强的防御方可能对抗恶意用户。相似的访问权限不会自动带来相同防御能力，扩大访问对滥用的影响仍是尚未解决的实证问题。

Zuckerberg 将 AI 安全与 Meta 在其网络上利用自动化系统对抗恶意行为者相比。他预计较大的机构有资源部署更强的防御，并认为广泛部署有助于维持这种平衡。这一类比是战略观点，不能证明防御方总会获胜。

随后他考虑了技术能力强的国家行为者，以及开放权重是否会被中国或其他政府获取的问题。他认为西方优势部分来自初创公司、大学和个人的分散创新，限制开发可能削弱这种优势。

Zuckerberg 还质疑私人公司能否无限期保护有价值的模型权重，抵御高水平间谍活动。我同意窃取是真实风险，并认为一次泄露就可能造成影响。但我声称长期保护基本不可能，或所有国家行为者必然获得同等模型，都属于猜测。

Zuckerberg 担心最终只有少数实验室和通过窃取获得模型的对手可以访问，而较小的研究者被排除在外。他倾向于建立广泛生态，与美国及盟友政府合作，希望保持以几个月计的持续领先。这是他提出的国家安全战略，而非已确立的预测。

他说开放发布仍然需要测试、风险缓解和与政府合作。他预计开放开发会传播繁荣，并最终支持安全。这段讨论并未解决独立审查、防御方访问与恶意用户访问之间的权衡。

我带着乐观态度引入经济问题，但承认也存在悲观情形。Zuckerberg 预计 AI 会提高生产率和创造力，并希望它有助于科学及医学研究。这些是可能的收益；他的言论并未确定具体的经济或临床结果。

Zuckerberg 说许多初创公司、学者和国家缺乏从头训练前沿模型的资源。允许他们调整、蒸馏和运行模型可能扩大参与范围。但他们能否部署特定模型仍取决于算力、许可条款和技能。

他认为国家和企业即便不自行构建耗资数十亿美元的基础模型，也可能受益，从而使访问更加平等。任何收益的规模和分布仍不确定，并取决于制度和实际访问条件，而不仅仅是权重是否公开。

Cheung 问到 Zuckerberg 信中对 Apple 的批评。Zuckerberg 表示自己并非开源绝对主义者，Meta 自身也同时采用开放和封闭开发。他说无法预测 Apple 的完整 AI 战略，但认为在竞争对手移动平台上开发的经历塑造了自己的做法。

我将他的评论理解为对多年平台依赖的挫折，并把它与 Meta 对虚拟现实和增强现实的投资联系起来。这是我对动机的解读；这次采访不能确定未来平台的成功或失败。

Zuckerberg 表示竞争平台的规则、费用和限制可能同时影响盈利能力与功能发布。他描述了无法推出自己认为有益于用户的功能时的挫折。这些是他对平台治理的看法，并非对具体规则作出的司法认定。

他说各种激励可能使封闭系统随着时间变得更严格，并希望 AI 更像网络那样发展。他把移动硬件利润与早期 PC 生态相比，后者允许 Windows 运行在许多制造商的设备上。Windows 本身并非完全开源；他的比较涉及平台的相对开放程度。

Zuckerberg 希望 Meta 帮助开放生态在 AI、增强现实和虚拟现实领域领先。我认为这一推动与公司此前使用竞争对手平台的经历有关，并将其与 Elon Musk 发布 Grok 权重的决定作比较。我对个人动机的归因属于猜测。

Cheung 问到 Llama 4。我最初预计下一代重要模型需要一段时间，并猜测它与未来 GPT 发布之间的关系。Zuckerberg 说现在讨论细节还为时过早，但下一代模型的算力集群、数据和研究实验正在准备中。

Zuckerberg 预计会有另一次显著进步，并表示希望发布多模态模型。我指出，这里讨论的 2024 年 Llama 3.1 版本缺少我想要的原生图像输入能力。他说在遇到监管障碍后，Meta 可能在欧盟以外发布多模态模型；这是当时的计划，并非当前可用性的说明。

我批评过度严格监管的可能性，而 Zuckerberg 指出基础设施规划跨越未来多代模型。数据中心、电力、芯片和网络都需要很长的准备时间。监管的时间和影响是比这段简短交流所能解决的更广泛问题。

Zuckerberg 说，在详细介绍下一次发布之前，他希望有时间消化 Llama 3.1 的推出。我表示希望在未来的发布活动中采访他。这反映的是 2024 年 7 月的讨论，并非当前产品路线图。

被问及 AGI 和智能体时，Zuckerberg 从产品而非技术定义谈起。Meta 的愿景是提供许多 AI 服务，而不是只有一个助手。他称 Meta AI 有望在 2024 年底成为使用最多的助手；这是公司的预测，比较结果也取决于如何衡量使用量。

Zuckerberg 希望创作者和小企业能够以较少工作配置智能体，用于客户支持、销售和沟通。企业数量意味着潜在市场可能很大，但这一愿景不能证明智能体可以可靠地处理每一次客户互动。

他说创作者与受众互动的时间有限，并设想根据他们的社交内容、价值观和目标创建个性化智能体。他把这些描述为受众可以互动的产物。这是一种产品愿景；真实性、同意和准确性取决于具体实现。

Zuckerberg 预测将出现数亿甚至数十亿个智能体，数量可能超过人口。他预计 Meta 将通过围绕强大模型构建产品获利，而非作为云服务商出售模型访问。我将此与 Yann LeCun 先前对 Meta 商业战略的解释联系起来。

谈到财务风险时，Zuckerberg 回顾说互联网在取得长期成功之前经历过重大泡沫。他表示很难预测模型何时足够好，能够实现大规模采用或形成大型业务，并预计公司投入模型训练时会出现可观的近期亏损。

我看到芯片和基础设施支出巨大，怀疑在长期回报到来之前可能出现 AI 投资泡沫。我提到的行业支出和收入数字是粗略、未经核实的比较，可能采用不同范围和时期；它们不能确定精确的全行业亏损。

Zuckerberg 转向对就业和生计的担忧。他认为，如果只有少数公司获益，更有可能引发反弹；他偏好的做法是让更多企业、创作者和个人利用个性化模型构建产品。这是否真的会更广泛地分配收入和机会，仍有待观察。

回顾社交媒体时，他说 AI 以及未来的 AR 和 VR 系统需要更可持续的政治经济结构，让更多人感到自己被纳入并从中受益。我同意生计影响值得持续关注，并以自己对设备端小模型和 405B 模型的期待作结。