Llama 2 在 2023 年发布：模型尺寸、许可与安全

Meta 发布了 Llama 2，我认为这对权重可获取的模型来说是重要一步。2023 年 7 月发布的模型允许在 Meta 社区许可证下用于研究和商业用途。这并非没有限制的开源：许可证附带条件，而本次讨论中的比较反映的是当时可用的模型。

此次发布包含预训练的 Llama 2 和针对对话调优的 Llama 2-Chat，参数规模分别为 70 亿、130 亿和 700 亿。Meta 还训练了一个 340 亿参数版本，但发布时没有推出。公司表示训练使用了 Nvidia A100 GPU，数据量比 Llama 1 多 40%，上下文长度翻倍至 4,096 个 token。

Meta 在较大的模型中使用分组查询注意力，以提高推理的可扩展性。论文还讨论了训练所需的电力和估算的碳排放。我很欣赏作者公开资源和环境成本，尽管任何估算都依赖其核算假设。

Microsoft 是 Meta 发布时的首选合作伙伴，尽管 Microsoft 也向 OpenAI 投入了大量资金。Microsoft 表示希望让开发者能够选择开放模型和前沿模型。我认为这种安排是在支持更广泛的模型生态与维持其 OpenAI 关系之间寻求平衡。

Llama 1 面向研究发布，而 Llama 2 的社区许可证允许在遵守条款的前提下用于商业用途。其中一项规定：如果被许可方或其关联方的产品或服务在 2023 年 7 月发布前一个月的月活跃用户超过 7 亿，就需要另行取得 Meta 的许可。这与新的 Llama 产品日后达到 7 亿用户便自动触发限制不同。

我推测，对大型用户的限制是为了保护 Meta 免受最大竞争对手的影响；这是我的解读，并非对其意图的既定结论。许可证还有其他条件，因此开发者应阅读实际条款。虽然权重可以获取，但称其为完全开源可能掩盖这些限制。

根据我在发布时看到的情况，Llama 2 的编程能力似乎弱于 GPT-4。这是早期判断，并非受控比较。Meta 的论文也承认与当时包括 GPT-4 和 PaLM 2 在内的前沿模型存在性能差距；视频中的例子不能证明 Llama 2 在所有任务上都胜过每一种 ChatGPT 模型。

安全是论文的重要部分。Meta 报告了红队测试和违规率评估，在该测试中违规率越低越好。展示的比较中，34B 聊天模型的违规率更高；论文称，因时间不足，无法充分进行红队测试，所以推迟了它的发布。这张图衡量的是一项特定评估，并不代表在所有用途中都完全安全。

我预计社区会推出行为各异的微调版本。对于有用性与安全性，Meta 描述了针对这两个目标分别使用奖励模型的方法。我认为这一方法很有前景，但视频并未证明它已永久解决有用性与安全性之间的取舍。

在视频发布时，Meta 通过其分发渠道提供权重和代码，托管的 7B 和 13B 版本也开始出现。我计划用自己的评估标准测试不同尺寸以及后续的微调版本，并报告结果。这里提到的可用性和模型排名均反映当时的情况。