IBM Granite 3.0 与 InstructLab：面向企业 AI 的小模型

IBM 邀请我前往纽约参观其 AI 项目，并与我合作制作了本视频。有两项公告引起了我的注意：Granite 3.0 模型和 InstructLab。IBM 以 Apache 2.0 许可发布 Granite 家族，InstructLab 则是一个开源项目。

Granite 3.0 是一组相对较小的通用模型，IBM 将其定位于企业用途。Berman 尤其关注如何用私有或特定领域知识补充模型。模型能否在某台笔记本电脑或手机上运行，取决于其内存、软件和配置。

Berman 认为，有价值的数据可能位于需要认证才能访问的地方或企业内部，并将其视为与合成数据、额外测试时计算并列的机会。他认为几乎所有公开互联网数据都已被使用，这是他的判断，并非经过验证的训练数据清单。

例如，一家保险公司可能希望利用不公开的信息来适配模型。Berman 认为 Granite 和 InstructLab 可以用于处理此类领域数据。结果质量取决于数据、训练流程和评估，并不会仅因添加数据而自动提高。

稠密模型家族包括基础版和指令微调版的 Granite 3.0 8B 与 2B。IBM 还宣布了小型混合专家模型 3B-A800M 和 1B-A400M。这些名称分别表示总参数量为 30 亿或 10 亿，推理时激活的参数量为 8 亿或 4 亿。

IBM 将这些稠密模型定位为检索增强生成、分类、摘要、实体提取和工具调用等任务的主力模型。Berman 还介绍了 Granite Guardian，这是一个独立模型家族，旨在帮助发现风险并支持企业应用中的防护措施。

Berman 介绍 IBM 的图表，其中将 Granite 3.0 8B Instruct 与规模相近的 Llama 和 Mistral 模型进行比较。IBM 报告称，在所展示的排行榜、RAG、网络安全和工具调用测试中，模型表现具有竞争力。这些厂商报告的比较针对特定测试和模型版本，不能代表所有工作负载或当前排名。

混合专家模型在推理时只激活部分参数。IBM 将较小的 Granite 变体定位于低延迟、CPU 和设备端场景，并表示它们使用超过 10 万亿 token 进行训练。当时提供基础版和指令微调版；实际硬件需求和速度取决于部署方式。

IBM 还宣布了一款由 Granite 驱动的编程助手。Berman 将这项工作与 IBM 旗下的 Red Hat 及其开源企业工具联系起来，包括 Linux、OpenShift、Ansible 和 OpenStack。他还提到将 CrewAI 与 watsonx 集成以支持企业智能体工作流的公告。

Berman 对比了在查询时提供信息的检索增强生成，以及直接适配模型的方法。他起初将 InstructLab 描述为不完全等同于微调。更准确地说，InstructLab 的 LAB 方法使用对齐调优：通过合成数据扩展精选种子示例，再在训练过程中使用这些数据，无需从头预训练即可添加技能和知识。

这个开源工作流支持协作贡献，旨在降低创建训练数据的成本。其多阶段训练和重放方法意在保留已有能力，但不应视为绝不会丢失知识的保证。实际适用性取决于模型、数据、计算资源和测试。

最后，Berman 简要提到 IBM 长期以来的量子计算工作，以及活动中一场关于结合量子计算与 AI 的演讲。他说自己仍在学习这一领域，希望能采访一位研究人员。结束时，他鼓励观众了解 Granite 和 InstructLab，并再次感谢 IBM 的合作。