从 50 万美元到 5 万美元：MosaicML 让训练自有模型成了明码标价的产品

Nathan Labenz 先摆出一份战绩单。2022 年 9 月，MosaicML 率先以 50 万美元的价格提供 GPT-3 质量的模型；紧接着 1 月，它率先从零训练出 Stable Diffusion，成本不到 16 万美元；4 月又做了一次，成本不到 5 万美元。在 LMSYS 上，这是一个由人类盲测两两对决的排行榜，录制时 MPT-7B-Chat 排在全球第九。把 OpenAI、Anthropic、谷歌以及 Llama 衍生模型全部去掉，它就是你能拿来微调、又能商用的顶尖开源聊天模型。另一个发布，MPT-7B-StoryWriter-65k+，让那些还没把长上下文当作默认配置的人大为震惊。

研究科学家 Abhi Venigalla 和 Mosaic 首席科学家 Jonathan Frankle，把公司描述为端到端的一站式服务商：为拥有宝贵专有数据、又想完全掌握成果的人，定制语言模型和扩散模型。公司最初从零开始训练，后来加入了公开的检查点，让客户能从一个已经会说话的模型接着训练；再后来又加入了推理（inference）服务，因为每个训练好的模型迟早都要回答请求。Venigalla 说，目标是从私有数据到私有模型，再到私有端点，全程不把最核心的家底交给别人的 API。

客户的需求横跨多种规模：有不到 10 亿参数的模型，有几十亿参数的，也有远超这个规模的。Replit 训练过一个 30 亿参数的代码模型，在某些任务上击败了第一代 Codex，以小博大。真正要紧的约束是数据。有些客户手里是来自支持日志的几百亿个 Token；有些则有几千亿个，甚至超过一万亿。这些数据塞不进寥寥几组输入输出对里，所以工作要靠继续预训练，再精心配比数据，让模型既保留通用的世界知识，又学会自家的行话。

Frankle 把 Labenz 的第一个问题说得更直白。“这些模型是谁在训练？所有人。你该问的是，谁有有趣的专有数据？也是所有人。”名单上的公司，从模型本身就是产品的小型创业公司，到 Replit 这样以 AI 为先的公司，再到一旦说出名字、你就会觉得“大而无聊”的那一类。这些公司都有很好的数据；训练就是让数据发挥作用的方式。过去人们说数据是护城河。后来，一年的大规模训练让大家一时流行起说，模型才是护城河。Frankle 说，Mosaic 的任务，是让机器学习训练重新变得无聊，好让护城河回到数据上。

被问到客户究竟拿模型做什么，Frankle 给出了一个最平淡、却恰恰最真实的答案：抽取和摘要。一份新的法院意见书动辄一百多页，有人下午就得搞清楚它说了什么。LangChain 加向量数据库的技术栈，已经检索出一大堆相关文档；模型的任务，是挑出其中要紧的段落，或者把它压缩成人能用的东西。聊天也占一部分，无论是作为产品还是界面，但远不是大头。模型不必十全十美，它只需要把人类决策者引向正确的方向。他指出，没有人会根据一段生成的摘要去做重大的医疗判断。

这类工作里，很多在大语言模型出现之前根本没人去做，因为根本配不出人手。Venigalla 拿 Mosaic 自家的开源用户举例：人力所能覆盖的上限，就是一份 README 和一份常见问题解答。你不可能给每个有问题的人都配一位支持工程师。模型让原本无法规模化的互动，变得便宜到值得一试。Labenz 在任务自动化上也看到了同样的规律。外呼招聘就是典型例子：几乎没有哪家公司有足够的人，去联系它想联系的每一位候选人。早期采用者能享受一段优势窗口期，之后这个渠道会找到新的均衡。

为什么不用 OpenAI 的微调 API，改选 Mosaic？Venigalla 把买家分成两类。创业公司要做公开 API 还不太能做到的事，比如定制的编码模型，或者古怪的语言组合，它们不想雇一支稀缺的研究团队，再自己租集群。已经在 API 上推出了第一版的企业，则会遇到一个优化问题：一个更小的定制模型，能不能用更低的成本承接同样的流量？Mosaic 把训练和服务都按算力定价。Venigalla 说，在 OpenAI 上微调的模型，成本大约是基础价格的 6 倍；Mosaic 则不论你跑的是基础权重还是微调后的权重，都按 GPU 小时收费。

Frankle 把企业的理由归纳成三个 C，并承认这种押头韵的说法很方便。定制（customization）：你没法把几千亿个 Token 塞进寥寥几组输入输出对里；你也可能想要更多代码，或者少一些别人网络爬取来的内容，而公开的数据组合里未必有这些。Mosaic 现在就有一份可以自选的数据菜单。用大型 API 时，你不知道汤里都是什么，只能希望自己担心的东西根本不在里面。控制权（control）：训练可以在客户自己的云 VPC 里完成，也可以在本地机房完成，数据从不离开。客户拥有权重，可以把它放到别处提供服务，也可以开源。成本（cost）：一个面向特定领域的 30 亿参数模型，往往比用不止寥寥几组样本去微调一个传闻中的 1.6 万亿参数巨型模型便宜。

Labenz 很意外，这么多老牌公司已经走到了这一步。毕竟有些单位还在禁用 ChatGPT，另一些单位则威胁要开除没学会它的人。Venigalla 说，ChatGPT 的爆发改变了找上门来的需求。最先来的是创业公司；世界看到了什么是可能的之后，企业也想要一个自己能信任的内部 ChatGPT：能控制输入的数据，信息要有时效性，还要有内部员工真正用得上的系统。背景是，机密文本正在不断流进公开的聊天里。他们可能还没走多远，但已经清楚，自己将需要某种专有的东西。

一个 Wendy’s 风格的品牌模型，连什么是巨无霸（Big Mac）都会知道吗？Frankle 没见过客户把维基百科从权重里剪掉。常见的做法是混合开源数据和内部文本，因为知识库本身就是一个很单薄的世界，而且它往往连通顺的文字都算不上。他也不同意 Labenz 的框架。“你是用 GPT-4，还是训练自己的模型？”这是一个虚假的二选一。客户会在 GPT-4 表现出色且被允许的地方使用它；但涉及敏感数据，或者 GPT-4 从未训练过的内部流程时，他们就不能用它。工具不同，用途也不同。Labenz 自己的口头禅是：眼下的 AI 里，没有什么是非此即彼的。

说到训练课程，Frankle 很挑剔。他讨厌“微调”这个词。要是有人开口就要在 2000 亿个 Token 上做“微调”，那里面一点也不“微”——它和预训练一样硬核，甚至更硬核。如果你是从 Mosaic 的检查点分支出来，仍然要掺入开源数据。只在你关心的那一小块上训练，就会出现灾难性遗忘（catastrophic forgetting）：模型会丢掉通用语言，就像一个只读专业书的人，慢慢忘了怎么闲聊。这个问题并不新鲜。三年多前，BERT 时代的论文就已经在问，该如何正确地继续训练；其中一篇题为 Don’t Stop Pre-training 的论文，Frankle 说，光这个标题就说明了全部道理。

Labenz 对 OpenAI 的微调 API，好坏两方面都亲身体验过。格式和长度要求很具体时，几十个样例就能把它固定下来；但想教模型用他自己的口吻写作，他能凑出的 Token 又有限，只能算半成功，还是会胡编乱造。他还看到，预训练和后期技巧正在融合：少样本（few-shot）结构被折回到预训练的过程中，而指令微调（instruction-tuning）的损失，现在看起来就像是不同数据格式上普通的下一个 Token 预测。Venigalla 把这称为“大收敛”：不需要新的分类头，只是在新的序列上使用原来的目标。Frankle 的底线是：这里最好的问题，还没有被严格回答过。Mosaic 和它的客户，每天都在学习。

Labenz 提到自己认知地图上的一个缺口：生命科学里的语言模型。Mosaic 和斯坦福大学的 CRFM 团队合作做了 BioMedLM，它用 PubMed 论文训练，所以你可以用生物医学的语言提出类似诊断式的问题。谷歌的 Med-PaLM 工作与之相似，它把模型和医生放在一起对比，作为一种辅助工具。Mosaic 今年推进得没那么猛的第二个方向，是完全不是英语的序列，比如蛋白质和氨基酸链；在这些地方，Transformer 加上长上下文，很自然地契合。多语言客户也是个意外。人们想要针对某些语言组合的双语模型，那些组合是 Frankle 在 5 种语言的候选名单上绝不会放进去的，这给分词器（tokenizer）带来了很棘手的压力。Labenz 指出，一个印地语字符就可能膨胀成 8 个 Token。

几千亿个内部 Token 要多原始，才会变成问题？Frankle 的第一个粗略判断是：模型就是你喂给它的东西。如果用满是广告的网络数据训练，模型就会开始在句子里插广告。Token 也并非一样好，但在质量差异显现出来之前，必须做大量清洗；这也是维基百科和代码分量远超其体量的原因。Venigalla 对“它会不会编造出我们并不卖的产品？”的回答，是长上下文。把 2023 年 6 月的产品清单塞进提示词，模型对其中内容的关注，会比对它记住的东西更忠实；这比每次目录一变动就重新训练要可靠得多。

大多数企业应用还需要最后打磨一道工序：指令微调，或者 RLHF（基于人类反馈的强化学习），好让人们能自然地和模型对话，而不是像对待补全引擎那样给它写提示词。一条常见的路径是：先从基础检查点出发，部署到 Mosaic 的推理试验场，分享给内部用户，再迭代一次微调。学术基准测试正在趋于饱和，Mosaic 正在推动交互式和自动化的评估。红队测试在客户中仍然很少见。Frankle 不会宣布什么产品，但他说，评估（包括红队测试）是 Mosaic 从数据到训练再到推理的一站式服务的一部分，大家应该多留个心眼。

既然模型自己也能跑起来，为什么还要付钱请 Mosaic 来提供服务？Venigalla 说，服务一个客户很容易，服务许多客户就不容易了。你需要批处理、低精度权重、多进程、自动扩缩容，还要大量调优。对于一个 300 亿参数的模型，很少有现成的技术栈能达到人们对托管 API 的延迟预期。Mosaic 的工作，就是把这些基础设施收拢起来。Labenz 对公开价目表研究得有些近乎痴迷：MPT-7B-Instruct 每 1,000 个 Token 收费 0.05 美分。换句话说，20,000 个 Token，约合 40 页，只需一美分。

那一美分花在哪儿？Mosaic 可以部署在任何云上，可以用你已有的 GPU，也可以用它租来的算力，目前首选的合作伙伴是甲骨文。推理服务器一直在运行，不像训练任务跑完就结束。A100 每小时大约能租到 2 美元；由于规模效应，服务商自己的成本可能更低。这个小时价格，已经把一块 GPU 按大约三年摊销的成本，加上机架上的电力，打包在了一起。之后，Mosaic 会帮企业挑选一块不过度配置的卡（A10 可能就够了），并把每秒请求数的目标，换算成全天候运行的机群（24/7）。每次调用的一美分，只是把每月几千美元的开销，摊到当月的 Token 上算出来的结果。

产品分两种。入门系列是共享的、按 Token 计费的服务，面向 Mosaic 和一些小型开源模型。定制权重如果放进这个共享池，就会遭遇冷启动之痛，所以这些客户要转向企业路径：独享算力、按小时计价，容量规划由 Mosaic 负责。部署位置是透明的：工作负载跑在客户的安全要求和现有合同所在的地方；通过 Mosaic 租用，只是可选项。Frankle 不会去猜甲骨文或 AWS 在电力与芯片之间怎么分成。他猜电力占的是较小的部分，并且很乐意把 Labenz 介绍给甲骨文。与此同时，需求旺盛到研究团队不得不在更多论文和更多客户之间做出艰难取舍。

Labenz 试图回顾价格变化，他把 Stable Diffusion 的成本说成“大概 15 万美元”。Frankle 打断他：“不到 5 万美元。得把这个数字更新一下。”Labenz 后来查证过。那次额外的降价，发生在他准备和录制之间的那几天。这个领域的降价，可不会等人把备课笔记更新完。

StoryWriter 的 65,000 个 Token 上下文窗口还能走得更远，它建立在 ALiBi 之上。注意力依然是平方级的，那套数学没有变。变化的是位置编码方案。Venigalla 的细微之处在于：平方部分占的比例，比人们想的要小。在 2k 的训练上下文下，注意力的点积运算可能还不到整个网络工作量的 10%。把上下文从 2k 拉伸到 65k，StoryWriter 每个 Token 的计算量大约增加了 4 倍：更贵了，但还没有贵到离谱。推理时，理论上你可以走向“无限”上下文；但实际上，ALiBi 能外推到训练长度的大约 2 倍，之后质量就会下降。

担心“无限矩阵”的人，是误解了被存储的东西。ALiBi 用一个固定斜率，取代了学习得到的位置嵌入。这个斜率在初始化时设定，且不参与训练；推理时，你可以像拉伸一条从 -1 到 1 的连续斜坡那样，把它拉伸到任意多个 Token。用 2,000 个位置训练，用 4,000 个位置推理，你只需把它继续拉远。在 65k 的模型上，并没有真正的硬性上限：修改配置里的 max_seq，重新实例化，偏置就会为 130k 重新生成。Frankle 真正尊重的两个限制，是 GPU 显存，以及经验上的 2 倍外推上限。

Labenz 还想把“有限参数，无限序列”这个戏法讲清楚。在没有任何位置信息的情况下，Transformer 就是一个词袋：下一个 Token 可以关注所有内容，却不知道先后顺序。因为没有多出来的权重，它本来就能按显存允许的程度一直拉长。ALiBi 只是添加了一个不可学习、可以调整大小的偏置。Frankle 说，更深层的原因是参数复用。同一组注意力权重适用于每一个位置，这就像卷积之所以能不受分辨率限制，是因为同一个卷积核在整张图上滑动。你需要的是存放激活值的 RAM，而不是为每个 Token 配一个新参数。

阅读很快，书写很慢。你可以把 65,000 个 Token 塞进输入，前向计算相对较快；但逐个生成后续的 Token 仍然要花时间，这正是接下来几周要优化的目标。Frankle 的最后一句话，像是披着路线图外衣的一句警告。Mosaic 在几周之内发布了大量东西，节奏也没有放慢。MPT-7B 和不到 5 万美元训练出的 Stable Diffusion，是“我们将要碾压的无聊基线”。对一个在三个月里刚把训练账单压低了 3 倍多的行业来说，这听起来像是在夸口；但它也听起来像是一份进度汇报。