OpenAI 把微调价格砍掉 90%，创业者把 Llama 2 从清单上划掉了

Nathan Labenz 主持《The Cognitive Revolution》，同时经营 Waymark。Waymark 每天都在用 OpenAI 的模型为客户生成电视广告。这种既做批评者、又是客户的身份，正是这期 2023 年 8 月节目的看点。他和联合主持人 Erik Torenberg 关心的，并不是微调有没有意思，他们想知道的是：在 OpenAI 宣布 GPT-3.5 Turbo 微调之后的 24 小时里，你自己动手去做，还值不值得。

Labenz 的框架是“everything everywhere all at once”：什么都在同时发生。他不会说开源不重要，也不会说没人会去微调 Llama 2。他会说，如果看 Llama 2 迄今的影响，这可能是其中最大的一块：它似乎加速了 OpenAI 的微调服务上线，而那项服务在过去大约一年里，一直是产品线中最弱的一环。其他方面都有变化，面向普通用户的微调却仍停留在原版 GPT-3。

在这次发布之前，普通客户只能微调最初那一代 GPT-3。那个模型甚至没有经过指令微调，你还得用经典的提示工程：把任务写成像自动补全的样子，或者塞进几个示例，指望模型能靠示例自己领会。微调后的推理价格是基础价格的 6 倍，另外还要为训练本身单独付费。当时最好的普通选项，原版 Davinci，每千个 Token 要 12 美分。

Waymark 的基本计量单位是一条生成的商业广告，Labenz 把它按大约 1000 个 Token 估算，按旧价格大约是 10 美分。这些广告常常包含在几千美元的投放中，展示给客户看，所以 10 美分的成本是可行的。每天生成 1000 条，仍然就是每天 100 美元，每月几千美元，这已经开始能在账上看见了。新的组合是 GPT-3.5 Turbo。基础推理是每千个 Token 0.15 美分。OpenAI 仍然对微调模型加收 8 倍，结果是每千个 Token 略高于 1 美分。相较于 12 美分，降了 90%。

他说，网上有人惊呼它比基础模型贵 8 倍，这是错误的比较。如果你用基础模型已经做得很成功，你很可能是在提示词里塞了大量指令和示例，而微调可以让你把这些删掉，所以那 8 倍的加价，有一部分会以更短上下文的形式抵消回来。对于那些用少样本的 3.5 方案怎么也达不到所需准确度或一致性的人来说，这次发布就是“做不成”和“大概能做成”之间的差别。OpenAI 自己的说法是，微调过的 3.5 Turbo 在很多情况下能胜过 GPT-4。Labenz 说，它现在是普通人能够微调的最好选项。

藏在同一次发布里的，还有一个 completions 模型 davinci-002，被标为 legacy（遗留），没有标为 deprecated（弃用）。对 Waymark 来说，它可以直接替换：旧的输入输出对，不必改写成聊天消息。Labenz 不确定这个模型的规格是否写得清楚，但他认为它大概是 3.5 级别的，更便宜、更快，甚至可能让一次生成两条广告成为可能。OpenAI 正在推动新工作采用聊天形式。继续支持旧格式，是为了让现有客户不用重写就能升级。

Labenz 说，GPT-3.5 Turbo 的基础模型比 Llama 2 更强，不过在 MMLU 这类高端测试套件上，开源模型已经处在同一水平线上，这已经是一项真正的成就。产品质量则是另一回事。一篇论文刚刚统计了 Llama 2 的错误拒答。你问它哪里能买到一罐可乐，它可能会道歉，说无法帮你获取违禁物品。OpenAI 做的是产品，出现这类问题，用户会抱怨，公司会迭代。Meta 发布了论文，按时赶上了论文截稿，却很少在意模型是否拒绝了不该拒绝的请求。

这个差距，就是他在公告当天把“探索微调 Llama 2”从清单上划掉的原因。Llama 2 明显比原版 GPT-3 强，所以这个实验一直摆在那里，本来可以用来降低 Waymark 的成本，也许还能提升质量。但微调权重只是第一道门槛。如果你想把模型放进应用里，就得部署、扩展，还要持续维护。托管推理市场正是围绕这一需求涌现出来的。和 OpenAI 相比，这些产品仍然显得不成熟。

他去四处看了看。MosaicML 曾做过《The Cognitive Revolution》的嘉宾，它刚刚被 Databricks 收购，也有一款推理产品。Labenz 一问，对方承认没有自动扩缩容：你部署一个实例，如果流量积压，就得自己再开一个。Hugging Face Inference Endpoints 确实会自动扩缩容，但速度很慢。第二个实例要花几分钟，第三个又是几分钟，缩容也同样迟缓。Waymark 的基础流量并不大，但它有一种故障模式：一屋子一百个有线电视公司的人，被要求同时点击生成。Hugging Face 几乎扛不住这种峰值，Mosaic 开箱即用也做不到。他此前听说 Baseten 不错，那是 Jon Noronha 在 Gamma 那期节目中提到的，但他还没有验证过。这种摸索，就像在埋没的文档里进行一场探险。

OpenAI 上一代的微调，即使参数量大得多，也很顺利，Waymark 的规模下没有严重的速率限制问题。新的 API 才上线 24 小时，所以这还算不上评价；但如果它的运维感受和旧的一样，那它就会既是更好的语言能力，又是更少的运维负担。然后是这笔账：假设自建能把每次调用从 1 美分降到 0.2 美分。每天 10,000 次调用，OpenAI 那边要 100 美元，自己的集群只要 20 美元，省下 80 美元。他认为，大多数机构跨不过这道门槛。开发者的工时累积得很快，每个人本来就已经排满了待办，而且转眼间就会冒出一个更好的开源模型，结果你只能原地打转。留在 OpenAI，你就会从六月的检查点一路升级到九月的检查点。函数调用（function calling）即将进入微调，而且别家没有能和它比肩的水平。GPT-4 的微调排在它后面，还要更远。

剩下的顾虑是数据。OpenAI 在发布开头就强调：微调数据不会用来训练他们的模型，也不会用来训练别人的模型。但你还得相信他们。Labenz 认为，他们很清楚客户不希望自己的数据被混在一起，相关政策也已经更新，而公司之所以反复强调这一点，是有原因的。他对整次发布最冷门的看法是：护城河是存在的。它们并非无法逾越，也不会把竞争者挡在每一种用例之外。但它们足够高，高到让很多人（包括他自己）在昨天把 Llama 2 从清单上划掉。

OpenAI 用一个基于 GPT-4 的内容审核工具扫描微调数据集，寻找诸如鱼叉式钓鱼机器人之类的东西。Labenz 怀疑它能否守住，至少他认为要绕过去相当容易。粗糙、明显的数据集会被抓到，聪明的则抓不住。公司现在鼓励在微调中写入指令，这与以往“只展示示例就行”的指导正好相反，因为 3.5 是经过指令训练的。指令还让审核者能看清预定的任务。把意图藏在一堆示例里，或以其他方式伪装起来，他猜测会有人钻空子。

也许这一点已经不像一年前那么重要了。OpenAI 的损失函数，不再只是“尽量减少在我们平台上的危害”。Llama 2 是真正开源、无法管控的替代品。钻过过滤器的人，也可以直接去用 Llama。能拦住多少就拦多少，依然值得去做；但 3.5 这一步并不会解锁一种性质全新的有害能力。他对 3.5 先于 4 推出的顺序，也是这样看的。GPT-4 在 ChatGPT 上线前三个月就已经训练完成。Bing 已经在微调 GPT-4，而 GPT-4 原生的编程环境 Cursor 也拿到了早期访问权限。GPT-4 的微调产品大概基本就绪了。先发布 3.5，让过滤器发挥作用，看看人们会做什么，因为一个 3.5 级别的开源模型已经存在。直接跳到 GPT-4 微调，反而可能让你本想拦住的人解锁一些新东西。

另有一种说法一直在流传：ChatGPT 的流量在下降，而且人们已经证明 AI 很擅长诈骗、刷屏和羞辱他人。Labenz 打开了那篇文章。里面没有提到编程、教育或医疗。网站访问量是误导。这些模型正被整合进随用户走的产品里。他自己用 ChatGPT 的次数反而少了，因为他还在用 Perplexity、Claude，以及编辑器里的代码模型。在 Athena，他们通过 HumanLoop（另一位前嘉宾）以公司账户购买 GPT-4，按 Token 付费，不必为每个席位每月花 20 美元买 ChatGPT。他敢打赌，每家领先实验室那些未公开的服务 Token 曲线，仍在上升。Dario Amodei 之前一直保持低调，直到与各国元首的会面迫使他接受了一些媒体采访，他说 Anthropic 的用量基本上是指数级增长。他们甚至还没有把商业化当作主要重心，数字却一直在往上走。他只能想象那些真正在使劲尝试的机构，曲线会是什么样子。

Labenz 自己的那个早晨，是同一观点的 10,000 倍版本。他在评估 AI 安全慈善机构，这意味着他要先理解机制可解释性（mechanistic interpretability）的论文，以及得先弄懂的 GitHub 库，然后才能接电话。他把方法部分交给 GPT-4，要求它像对新入学的研究生那样讲解。临时请专家，每小时轻易就是几百美元。他花两到五美分得到的东西，如果请一位受雇的研究生或博士来做，要 200 美元以上。在他看来，“没人能找到用例”这种说法很荒唐。

Torenberg 请他在编程、教育和医疗这三个领域，各举一两个近期可以落地的例子。Labenz 先从编程讲起，因为这是他整天都在做的事，也是节目里讲得较少的原因。GPT-4 是非常好的程序员，非常善于遵循指令。Replit 的 Amjad Masad 和 Michele Catasta 注意到，产品经理一直在黑客松上获胜，因为产品经理擅长精确说明自己想要什么，而模型擅长把这些变成能运行的代码。在大多数情况下，清晰的指令就能换回相当不错的代码。

他自己最喜欢的一招是类比式编程。把网上或以前项目里能跑的代码粘贴过来，说明它做什么，然后让模型给出一个在某个具体方面有所不同的版本。GPT-4 的训练截止时间意味着它可能不了解今天的 API 或库，但它非常擅长以一个现成的实例为灵感。Cursor 和 Replit 正在推动真正的结对编程循环：先是文件结构、配置和环境，然后分层地深入到每个文件的工作。在很多项目上，你都能走得相当远。这是一门手艺，第一次用未必惊艳，但要不了多久，它就会变得很有价值，包括在调试方面。

你带来的专业知识越多，模型给出的就越多。真正的新手可能会偏离轨道，感到困惑，把模型也搞糊涂，然后越陷越深。Labenz 一直在教 Waymark 的行政助理们，怎样避免这种情况。Andrej Karpathy 是上限的例子。他的 C 语言很生疏，但概念上非常精确。他用 GPT-4 来编写 Llama 2 的 CPU 推理底层细节，然后把代码拿到推特（Twitter）上，人们在那里提出了各种细小的改动。中等规模的 7B 模型开始能以不错的速度在 CPU 上运行。没人会想整天让笔记本这样跑，但世界上闲置的 CPU 是一堆难以置信的算力，而如果 7B 模型在这些 CPU 上变得可用，那么过去一年关于 GPU 短缺的讨论看起来就会不一样。Karpathy 本来就是 10 到 100 倍的开发者，再加一个因子，你就能开始看见人们所说的 10,000 倍程序员。

在教育方面，他提到了可汗学院（Khan Academy）与 Shawn Jansepar 的那期节目。Khanmigo 看起来像普通的 ChatGPT，但经过调校，带有苏格拉底式的风格：它不会直接把答案给你，而是辅导你，试图让问题与你相关，还会检查会话是否跑偏。从小学到高中大部分内容，它都掌握得相当不错。AP 物理及更难的内容，仍然会出错。关键的事实在于比例。现在，老师和学生之间基本是一对一，而这在过去从来都不现实。王公贵族有家教，其他人只能进教室。即使辅导本身还没变得更聪明，这种规模几乎肯定也会是颠覆性的变化。

他接下来想看的是更小的实验。今天的教育随机对照试验（RCT）被噪声淹没：培训老师，等一个月，参加标准化考试，然后希望孩子那天刚好在场。把每项测试的规模缩小一到两个数量级。对四年级学生讲分数，哪种方式真正有效，哪种是次优的，它是否与他们学习上一件事的方式相关？课堂上所谓的“学习风格”大多只是口头说说。一对一的家教可以提供那个对你有用的版本。如果新数据解锁不了什么东西，他会感到惊讶，即便理论还有待证明。

对他来说，医疗的代表是谷歌的多模态 Med-PaLM M：一位随叫随到的 AI 医生，装在你的口袋里，24 小时待命，价格只是零头，现在还支持图像。你可以拍一张皮肤上某处的照片，或者从病历里调出诊所的 X 光片，请它给出第二意见。这已经很接近了。谷歌不会走马斯克的路子，先抢先部署。听起来还要再过一两代，他们才会认真对待这件事。模型看图的分辨率仍是 256×256，团队很清楚这是个尚未定型的瓶颈；他们在验证理论，并不是要把系统推到极限。Labenz 四个月大的孩子 Charlie 有一个骶窝。儿科医生见过很多次，但仍会因为有极小的概率是严重问题，让你去做超声检查。全家在周六拖着身子穿过大半个城市。Charlie 没事。如果模型能帮助人们判断什么时候真正需要就医，那么它节省下来的时间、金钱和安心，本身就已经是一种健康结果。Medicaid 实验往往无法明显改变短期内的客观健康指标，但因为决策成本降低了，人们在经济上和心理上依然会更好。

医学界比他预想的更愿意接纳，态度谨慎但并不敌视。Med-PaLM M 的放射学报告有 40% 的时间比人类放射科医生的报告更受青睐。它仍然落后，差距也不大，但成本可能只有后者的万分之一左右，而且提示词技巧方面可能还有空间。放射科医生会组建工会，还是会一边说自己负担过重，一边又觉得这很棒？自动驾驶看起来大致和人类一样安全，但仍然不够：标准可能要高一个数量级，也就是风险降低 90%，因为一旦出事，后果会非常惨烈。在目前这个阶段，医学更像是提供建议，还谈不上做手术，所以人们还有一道缓冲，可以再核对一遍。按照现在的速度，他很难想象不超过两年，这项工作就会“差不多完成”，即便在人类无法读懂的基因型上，它总能比人类做得更好。谷歌在监管上的有趣回应是，没有哪条法律正好禁止它们；它们希望有一部自己能确定遵守的法律。与此同时，他说，现在是时候开始讨论临床试验应该是什么样子了。