Meta Llama 3 发布：基准测试、贪吃蛇试玩与 Meta AI 助手

Llama 3 的日子到了。Meta 刚刚宣布 Llama 系列的第三代模型，我想看看发布内容、有哪些新变化，以及模型表现如何。我计划另做编程、测试和微调视频。本次评测反映的是 2024 年 4 月 18 日的发布情况。

我认为早期 Llama 模型对本地运行语言模型的发展很重要。Meta 首批提供 80 亿和 700 亿参数的 Llama 3，两种尺寸都有预训练和指令微调版本。我注意到没有中等尺寸，并猜测以后可能会有，但这只是推测，并非首批发布内容。

Meta 还提供 Meta AI 聊天界面。公告讨论了智能体等应用，我对此感到鼓舞：智能体可以不止是单条提示词。我会先快速试一个例子，把完整的测试清单留到另一段视频。

我让 Meta AI 用 Python 编写贪吃蛇游戏。它很快给出使用 curses 库的代码，看起来是在终端运行的。我复制并运行代码，出现了窗口和得分；蛇撞到自己时游戏结束。我认为这次测试通过，但不知道该界面使用的是 80 亿还是 700 亿参数模型。

Meta 表示，Llama 3 改进了语言理解、指令遵循、编程和多步任务能力，并称后训练减少了错误拒答。这些都是公司的说法。我尤其关心多步能力是否有助于智能体，并打算用 CrewAI 试试；单凭贪吃蛇演示不能证明这些更广泛的能力。

Meta 称，它使用两个定制的 24,000 GPU 集群，在超过 15 万亿 token 上对模型进行了预训练。公司表示，该数据集是 Llama 2 的七倍，代码量是其四倍。首批模型的上下文长度为 8,192 token；我将它与其他 2024 年模型宣传的更长上下文比较，并希望以后的微调版本能加以扩展。

发布图表将 Llama 3 80 亿参数模型与 Gemma 7B、Mistral 7B Instruct 在 MMLU、GPQA、HumanEval、GSM8K 和 MATH 等测试中比较。我对报告中的提升感到兴奋，尤其是编程和数学方面。这些是 Meta 在特定模型和测试设置下报告的成绩，不能证明一个模型在所有任务中都领先或在后来仍然最好。

对于 700 亿参数模型，Meta 的图表包括 Gemini 1.5 Pro 和 Claude 3 Sonnet。我注意到，对比的是 Sonnet 而不是 Claude 3 Opus。图表报告了 Llama 3 700 亿参数模型在 HumanEval 代码生成测试中的出色成绩；我想知道编程方面的提升是否也有助于函数调用和智能体，但这个联系需要另行测试。

报告中的 700 亿参数模型成绩因基准而异，其中数学成绩低于对比中的 Gemini 1.5 Pro。这提醒我们，模型可能在一个指标上领先，在另一个指标上落后，而基准配置和所选对手都会影响比较。

Meta 还更新了负责任使用指南，并推出 Llama Guard 2、Code Shield 和 CyberSec Eval 2。我查看了一张图，它把模型及系统层面的防护与透明度、评估放在一起。这些工具帮助开发者评估和管理风险，但不会自动让应用变得安全。

网络安全评测涵盖不安全的编程实践、对攻击者的帮助、代码解释器滥用、进攻性网络安全能力和提示词注入的易受攻击程度。我对最后一项尤其感兴趣，因为专有模型和可获取的模型都曾受到越狱影响。我打算以后有机会再讨论相关论文。

Meta AI 是 Meta 的助手界面，在我讨论的情境中当时免费提供。Meta 称它是领先的免费助手，这是公司的说法，并非独立确认的排名。我认为 Meta 发布易获取的模型可能加大竞争压力，降低开发者和用户的价格，但这只是我的预测。

我预计 AI 技术栈的不同层面都会产生价值：硬件、编排和可观测性等基础设施，以及基于 AI 构建或借助 AI 增强的应用。随着模型逐渐商品化，我对模型层能否持续创造价值持更谨慎的看法。这只是我对市场可能如何发展的观点，并非既定结果。

Meta 介绍了如何在动态、聊天和搜索中使用助手，无须离开应用即可获取信息。我希望它能结合用户活动和对话中的相关上下文，而不是始终作为无状态引擎运行。这是我提出的方向，并不是说助手已经能够不受限制地访问所有这类信息。

我让图像功能生成一只机器羊驼。我喜欢这个结果，但认为它的质量不如我通常从 DALL-E 获得的图像。我注意到展示的图片上有“Imagine”水印。这只是一个主观例子，不是全面的图像质量或水印测试。

Meta 表示正将 Meta AI 推广到 Facebook、Instagram、WhatsApp 和 Messenger，并扩大英语服务覆盖范围，包括澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦。这里描述的可用性和功能是 2024 年 4 月公布的情况。

示例包括寻找能看到日落且提供纯素餐点的餐厅、查找周末演唱会、在 Messenger 中使用助手，以及搜索菜谱视频。Meta 还展示了动态中的助手。我认为这体现了公司对 AI 的投入，但单凭演示不能证明每个回答都正确。

另一个例子先生成一只鸟的图片，再将它制作成可分享的 GIF 动画。凭这次快速体验，我仍更喜欢 DALL-E 或 Midjourney 的图像质量，但在我讨论的情境下该功能是免费的。质量比较和产品条款都可能改变。

我打开 Llama 3 的 GitHub 仓库和模型卡，并表示不确定原始权重是否可用。Meta 仓库说明，用户接受 Llama 3 社区许可证后可以下载训练后的权重和分词器。条款包括可接受使用政策，并要求符合条件、月活跃用户超过 7 亿的服务另行取得许可；权重可获取并不代表使用不受限制。

我再次查看训练 token 数量以及 80 亿、700 亿参数模型尺寸，然后回顾 Meta 与 Llama 2 的比较。图表显示，在指定设置下列出的基准成绩有所提升。我期待在另一段视频中更全面地测试模型，而不是把发布图表或一次贪吃蛇提示当作完整评测。