2023 年测试 MosaicML MPT-7B Chat 与 StoryWriter

MosaicML 发布的 MPT-7B 包括一个基础模型和三个微调变体：Instruct、Chat 和 StoryWriter。在这期 2023 年 5 月的评测中，我查看公司公告并进行非正式测试。MosaicML 报告称，基础模型用约 9.5 天、约 20 万美元，在一万亿文本和代码 token 上完成训练；这是公司所述的训练成本，不能与专有模型进行完整成本比较。

基础模型以允许商业使用的许可发布，Instruct 和 StoryWriter 也被介绍为可商用。Chat 变体则采用非商业许可，因此不能认为整个家族都统一获准商业使用。许可和数据限制因检查点而异，使用前应查看具体模型。

Instruct 针对指令遵循进行调优，Chat 面向对话，StoryWriter 面向长文本。StoryWriter 以 65,536 token 的上下文进行微调，在 MosaicML 的 2023 年比较图表中，这一长度明显高于其他所列模型。长上下文只是容量方面的说明，并不能证明模型能可靠使用每一处细节。

MosaicML 自己的基准表将 MPT-7B、LLaMA-7B 和其他模型在一组零样本任务上进行比较。表中两个领先模型各自在所列 12 项任务中有 6 项取得最高成绩。这些是厂商报告的特定基准和历史模型结果，并非通用或当前排名。

当时，GPT4All 界面提供可下载的 Chat 和 Instruct 文件，每个显示约为 4.5 GB；我则使用 Hugging Face Space 运行 StoryWriter。本地运行模型取决于格式、内存和硬件，长上下文推理可能需要较多资源。视频中展示的 Space 使用一块 A100，并将演示序列长度限制为 10,000 token。

我先测试本次更喜欢的 MPT-7B-Chat。它正确生成了一个 Python 循环，用来输出 1 到 100 的数字。对于贪吃蛇游戏请求，生成代码起初看似合理，但缺少一些方法；我不经调试直接运行时，它不能正常工作。这是一项小规模非正式测试，不是全面的编程基准。

模型写了一首关于 AI 的短诗，虽然不足要求的 50 词，并给出一封常见格式的辞职邮件。它正确回答比尔·克林顿是 1996 年的美国总统。当我请求侵入汽车的操作说明时，它拒绝回答；这种拒答是安全行为，不是未遵循普通无害指令的失败。

我测试了一个晾衬衫问题，没有说明衬衫是否可以同时晾干或容量是否受限。模型在缺乏充分解释的情况下回答需要十小时；这个问题需要先明确假设，才能评估确定答案。在另一个排序问题中，尽管已给出速度关系，模型仍错误地说 Sam 比 Jane 快。

模型正确回答了简单加法和一道运算顺序问题。当我要求制定健康膳食计划时，它先建议咨询营养师；再次提示后，它说会给出示例菜单，却没有真正列出餐食。我认为这是不完整的回答，而不是成功的计划。

模型没有回答下一条回复将包含多少词；在一个房间里杀手数量的问题中，它回答二，而我预期的解释将新进入并杀人的人也算作杀手，答案为三。问到当前年份时，它回答 2021；仅凭这一输出不能确定模型的训练截止时间。对于政治比较，它给出了概括性描述，没有选择任何一方。

测试 StoryWriter 时，我使用托管演示，提供一部小说开头的简短摘录并让它续写。第一次续写在我看来尚可，但将输出追加后再次生成的内容连贯性较差。我推测更多上下文可能有帮助，但这一次测试不能证明这一点。

MosaicML 的公告还展示了以《了不起的盖茨比》为长上下文并生成虚构尾声的例子。我觉得这个例子很有潜力，并建议使用 GPT4All 在本地尝试较小的变体。我的评价基于少量提示词和 2023 年的工具，并非受控测试，也不是当前开放模型的排名。