Llama 4 发布反响：基准测试、长上下文与早期体验

Meta 发布了 Llama 4 Scout 和 Maverick，业界反应也陆续出现。在这期 2025 年 4 月的更新中，我会看看独立基准、价格、业界评论、长上下文窗口，以及几个展示这些模型能力与局限的早期例子。

Meta 还介绍了一款大得多的模型 Behemoth，用作较小模型的教师模型。Behemoth 当时只是预告，权重尚不可用。Scout 和 Maverick 则依据 Meta 的 Llama 4 Community License 发布，使用权重需要遵守该许可，而非毫无限制。

这些模型采用混合专家架构：处理每个 token 时，只有一部分网络处于活跃状态。Maverick 总参数为 4020 亿，其中 170 亿活跃；Scout 总参数为 1090 亿，其中 170 亿活跃。这也解释了为什么庞大的总参数量不能直接等同于同等规模稠密模型的计算量。

在这里展示的 Artificial Analysis 智能指数中，Scout 得分 36，Maverick 得分 49。Maverick 接近 GPT-4o 的 50 分和未启用扩展思考的 Claude 3.7 Sonnet 的 48 分；DeepSeek V3 为 53 分。这些是特定综合指标和测试条件下的分数，不能保证模型在所有任务中可以互换。

开放权重模型能在这项指标上接近知名专有模型，是一件大事。人们可以选择自己的托管方式，并基于可用权重开展开发。我尤其关注这些新模型能以怎样的推理成本提供多大能力，不过基准排名只是判断模型是否适合某项应用的起点。

图表比较了众多模型的能力、价格与速度。Scout 能力较弱但更便宜；Maverick 则用更多资源换取更高的指数得分。要把这些图表转化为实际部署决策，模型、服务商、硬件和工作负载都很重要。

相比每个 token 都激活全部参数的稠密模型，混合专家设计能提高推理效率。但未激活的专家仍会影响存储与部署，实际吞吐量也取决于内存带宽和服务系统。仅凭活跃参数量，无法确定模型运行速度。

图中 Scout 当时的价格约为每百万输入 token 0.15 美元、每百万输出 token 0.40 美元；Maverick 分别约为 0.24 美元和 0.77 美元。这是 2025 年 4 月的快照，并不代表当前价格；不同服务商和模型配置的费率也不同。

视频包含 Box 的付费赞助。Box 介绍了其企业内容平台，以及用于处理商业文档的 AI 功能。赞助商描述了在公司内容中查找、提取和使用信息的工具；这些是 Box 的产品主张，而非本视频的独立测试结果。

业界重要人物迅速对发布作出评论。Microsoft 强调可以通过 Azure AI Foundry 使用这些模型，Google 首席执行官 Sundar Pichai 向 Meta 表示祝贺。Dell、Hugging Face、David Sacks 和 Reid Hoffman 等人的反应，也显示了基础设施、政策和模型生态各界对这次发布的关注。

这些反应不能独立证明模型质量，但确实表明一个开放权重模型系列能够多快融入更广泛的云服务与开发者生态。不同公司欢迎新模型有各自的理由：托管需求、用户选择和竞争加剧都在其中发挥作用。

Scout 宣称的上下文窗口达到 1000 万 token。Meta 表示训练时使用了较短上下文，并介绍了扩展可用窗口的方法；不能把宣称的最大值当作模型在这种长度下能可靠检索或推理每个细节的证明。1000 万这一数字适用于 Scout，不能自动套用到所有 Llama 4 模型。

如此大的上下文窗口引出了一个问题：我们是否还需要检索增强生成？我可以想象直接把大量文档放进提示词，而不建立检索流程。但检索仍能减少处理的材料量、挑选相关证据并引入最新信息；最佳选择取决于质量、延迟和成本。

我还查看了一些人尝试绕过模型安全控制的公开示例。单次越狱演示可能暴露弱点，却不是全面的安全评估；模型的托管方式和配置也很重要。更广泛的问题是，当权重广泛可用时，开发者将如何评估和减轻有害行为。

让用户在自己的系统上运行模型，与在已部署产品中维持安全防护之间存在张力。一个允许请求的例子或一次拒绝，都不能告诉我们模型面对所有请求时会如何表现。这需要系统测试，而不只是社交媒体上的截图。

Groq 也提供了托管版本，以及通过提示让模型仔细思考问题的方式。提示模型生成推理过程是一项有用的界面实验，但提示词或可见的推理轨迹并不能证明底层模型接受过专门的推理模型训练。

一个早期示例批评实验版 Maverick 聊天模型：对于一句引文的简单问题，它给出了过长的回答。截图还显示了事实错误：提示词指的是 Castlevania: Symphony of the Night，模型却将引文归于 Aliens。这个例子来自经过聊天调优的实验版本，不能自动视为对已发布检查点的测试。

这个例子说明，模型的表达风格和综合分数一样重要。快速的事实问题通常需要直接、准确的答案，而不是绕很远的弯。评价模型整体表现需要不止一个轶事，但这样的例子能揭示值得进一步测试的失败模式。

Exo Labs 展示了一个由四台 Mac Studio 组成的集群，作为分布式推理的一种方式。对想在本地使用更大开放权重模型的人来说，组合多台机器很有意思，不过网络、可用内存、量化和软件支持会决定实际能运行什么以及运行速度。

讨论中的集群性能数字是与实验性并行化相关的估算，并不是本视频证实的实测值。尤其是对 Behemoth 的估算不能证明实际本地性能：Meta 当时预告了该模型，但尚未发布其权重。真正的基准测试需要可用模型、具体配置和经过测量的工作负载。

一位批评者质疑，1000 万 token 的说法是否反映了有用的性能，而不仅仅是系统接受的输入长度。这是一个重要区别。上下文上限告诉你系统能接受多少文本，却不能单凭它判断模型能否在很长的文档中找到一条细节，或准确完成推理。

最后，我看了一个编程提示，要求生成小球在旋转六边形内弹跳的模拟。展示的尝试没有生成预期中能正常运行的模拟，这说明亮眼的基准结果和日常编程任务之间可能存在差距。我也指出，提示方式和后续尝试可能带来不同结果。

总体而言，我认为这次发布是让模型更易获取的令人振奋的一步，尤其考虑到价格和多样化部署选择。业界反应和早期演示很有意思，但我们应结合可重复的测试和实际使用，来判断上下文、安全与编程能力。