Llama 3.2 增加视觉能力与更小的端侧模型

Meta 在 Meta Connect 上宣布 Llama 3.2，带来新的模型尺寸和视觉能力。本视频与 Meta 合作。我会解读发布内容，并简短测试最小模型；视觉测试留到后续视频。

11B 和 90B 模型增加图像理解能力，1B 和 3B 则只处理文本，面向资源受限的设备。Meta 将视觉版本定位为对应 Llama 3.1 文本模型的兼容替代品，实际使用仍取决于部署要求。

我预计更多 AI 计算会转移到手机、电脑和其他边缘设备。Meta 称小模型经过预训练和指令微调，拥有 128K 上下文窗口，并列出了针对 Qualcomm 和 MediaTek 处理器的优化。

Meta 提供定制与本地部署工具，包括 torchtune 和 torchchat，也通过其生态提供访问。Llama Stack 旨在简化云、本地和设备环境中的应用构建。

该工具栈公布的接口涵盖推理、安全、记忆、智能体系统、评估和后训练等功能。Meta 列出了多个分发与云服务合作伙伴，具体可用性和条款取决于服务商。

我查看 Meta 的基准表，其中小型 1B 和 3B 文本模型与同类模型比较，视觉模型与当时其他模型比较。展示的分数是厂商在特定测试中报告的结果，不能保证所有任务的表现。

我使用 Groq 托管的 1B 预览版，先让它写故事，再让它写 Python 贪吃蛇游戏。我观察到每秒超过 2000 个 token，并报告游戏第一次尝试就运行成功；这只是一次托管演示，并非端侧速度测量。

Meta 称视觉模型支持图像推理，包括图表、文档理解、图片描述和视觉定位。例如，用户可以根据图表询问哪个月份销售最好。我计划另行测试这些能力。

公布的架构通过适配器权重和交叉注意力层，将预训练图像编码器连接到语言模型。Meta 说它使用图文对训练这些部分，更新图像编码器，同时在适配器训练期间保持语言模型参数不变。

在后训练方面，Meta 介绍了监督微调、拒绝采样和直接偏好优化，并使用 Llama 3.1 生成合成数据。它还利用剪枝和蒸馏创建较小的模型，由较大的 Llama 模型担任教师。

我欢迎这次发布，并计划分别开展文本和视觉能力的后续测试。本视频是发布信息解读加一次非正式文本测试，因此更广泛的质量判断仍需进一步评估。