GPT-4 当老师，GPT-3.5 当学生：成本降九成，还有一个没人肯先做的 AI 套餐

OpenAI 开放 GPT-3.5 Turbo 微调大约两周后，Nathan Labenz 就已经在他创办的营销视频公司 Waymark 的生产环境里用上了它。Llama 2 原本在他的待办清单上，现在被他划掉了。他说，即使开放权重模型的微调成功了，依然会留下一些难看的问题：部署在哪里，能承受多大负载，要不要自动扩容。这些问题都有解决办法，只是还不成熟。OpenAI 的方案是即插即用的。训练完成后，新模型上线时享有的速率限制与标准 API 相同。他的开发者只需替换一个模型 ID，技术栈的其余部分都不用动。

新的流程以对话为原生形式。你先设定一条系统消息，说明角色和工作，再给几轮用户与助手之间的对话，就可以开始了。旧的提示加补全格式依然能用，但对话已经成了主要形式。Waymark 已经有一个能跑的产品：小企业输入需求，20 到 30 秒内就能拿到脚本、来自自家素材库的图片，以及配音。脚本常常不够好，选图有时很“怪”，配音与画面之间的时间也会错位。他想用微调补上这些缺口，但不想给团队再加一套新的推理栈。

第一轮用的是老办法：只有输入和输出。Waymark 的微调数据集一直在大约 100 到 1000 条脚本之间，按互联网的标准很小，但过去已经够用。效果“不算太好”。Labenz 出去散了散步。GPT-4 只要两个示例，就能把这件事做得不错，所以多加一些原始配对，看起来并不是缺的那一块。他回来后的想法是：不只用 GPT-4 的答案来训练 3.5，还要让它学会得出答案的推理过程：先分析任务，再逐步解释，形成策略，然后才生成视频。这就是经典的思维链。

关键的转折在于：思维链并没有明显提升 GPT-4 自身的表现。从这个意义上说，它看起来像是白费功夫。把这些推理轨迹移植到 3.5 上，小模型的表现就跳了上去。Labenz 的比喻几乎是现成的：优等生本来就有答案；把草稿交给基础差一些的学生，才能打开那把锁。就生产成本而言，GPT-4 的账很难看。固定模板约一千个词，两个示例各约 2000 个 token，输出还要留出 3000 个，于是就顶到了 8000 token 的窗口。结果是每次调用 30 到 35 美分，还要等 60 到 90 秒，对生产来说既太贵，也太慢。

微调后的 3.5 有 4000 token 的上限（16000 token 的版本即将推出），所以两个示例会被截掉。token 数量减少了一半以上，成本大约降低了 90%。延迟常常在 10 秒以内，有时会到 20 秒出头；最慢的 3.5 调用，大致相当于过去最快的 GPT-4 调用。训练只需几分钟，模型通常几秒钟就能调用，扩展性与标准的 3.5 相同。Waymark 人工撰写的脚本里从来没有三段的规划内容，那些东西都留在人的脑子里，所以他直接让 GPT-4 同时生成思维链和视频。第一版的质量，大致和人工数据集相当。任何手里已经有能用的 GPT-4 提示词的人，都能生成推理轨迹，再把它蒸馏到更小的模型上。他预计这种循环会变得很普遍。

上一期节目里，卡内基梅隆大学的 Zico Kolter 和研究员 Andy Zou 认为，越狱是在互联网垃圾内容上做预训练的下游结果，然后再用对齐把问题掩盖起来。他们的建议是少给模型喂一些这样的内容。Labenz 这套小范围的循环，就是这一思路的小规模版本：在一项垂直任务里，他现在能控制学生吃什么。OpenAI 自己未必能只用一句“合成数据”就把 GPT-4 的输出带过去，人们会追问 GPT-4 是怎么训练出来的；但对于站在这些巨头肩膀上的应用开发者来说，数据来源的说法就干净得多。

在 Athena（他常引用的一家高管助理公司）那里，担心的是很实际的问题。助理会把敏感的个人信息放进提示词里。团队并不是去标识化方面的专家，也不想犯下一个大错。这次实验促使他定下一条政策：绝不拿客户数据训练，只用看起来像客户数据、或受其启发的合成数据来训练。显式标识符，比如电话号码、姓名、价格和 SQL schema，很容易改掉；概念层面的知识产权却不容易。他指出，最近的研究显示，模型只需很少的样例就能记住一段文本，有时甚至只要一个。

工艺化学是他举的一个警示案例。一本制药公司的实验本上，加热速率和试剂添加逐页看都显得无害，合在一起却成了秘密。科学家很少互相翻看对方的实验记录。如果有一个模型读完了所有这些记录，它可能会看到没有人能看到的规律。他会用这套语料训练自己的模型，但不会交给 OpenAI。他认为，这也是为什么 OpenAI 现在一再强调“不会用你的数据训练”。他在 HumanLoop 里运行这个循环，它能让他追踪每次运行，叠加一次修正，并把它并入下一批。Waymark 在接下来几周里大概还会再做十轮左右的微调。至于写脚本，他甚至不确定是否需要 GPT-5。

Labenz 的政策是两手并用。把 3.5 微调好，让日常应用变得更便宜、更快、更可靠，这是应该加速的事。而 GPT-5 规模的新一代前沿系统，则应该放慢。他说，领先的实验室已经表明了一个合理的立场：比 GPT-4 更强大的系统，应该接受特别审查，包括独立审计人员和红队测试。谈到许可，人们常把它漫画化成“老大哥盯着你的笔记本”。但按照他的理解，实际提议只适用于 GPT-4 之上的模型，而且是一个滑动标尺：如果 GPT-5 是安全的，这条线就往上移。

具体的担忧是生物安全。Anthropic 在参议院作证时，与包括 MIT 教员在内的生物安全专家一起表示，语言模型还做不到制造一种新病原体的每一步，但它可以完成其中的一些步骤，还能帮你把其余部分想明白。这些知识已经在模型权重里，因为模型是在一切内容上训练的。基于人类反馈的强化学习（RLHF）试图让模型拒绝这类请求；但一次通用越狱，尤其是在开源发布的模型上，就能把这层拒绝剥掉。一个绝对的言论自由主义者去掉护栏，另一个人走完其余步骤，失控就会一级接一级地蔓延。截至 GPT-4，他相当有把握模型不会设计出病原体。GPT-5 则很可能会。

他宁愿先弄清数据集里有什么，并确认某些敏感材料不在其中，然后再有人去训练下一次跃升。OpenAI 似乎想走这条路；Anthropic 则是“绝对专注于此”；DeepMind 的态度不太清楚，不过 AlphaFold 表明他们对科学上的风险是认真的。Meta 是变数。传言称它正在训练一个 GPT-4 级别的模型并准备开源，并不在乎谁反对。它过不过滤数据，就能看出这家公司是怎么想的。他喜欢的一种设计是：在训练时就分出两类模型，一类懂生物学，一类不懂。这样普通用户几乎不损失什么，只有少数生物学家会失去一点文献访问权限。合成数据和数据清洗还需要时间成熟。与此同时，他说，我们完全可以拥有想要的那些很酷的 3.5 应用。

Erik Torenberg 问，AI 在哪些地方只是副驾驶（copilot），哪些地方已经能直接把活干完。Labenz 目前把用法分成两种模式，还有第三种即将到来。副驾驶模式：人是主要的行动者，模型从旁辅助。在最近一次冲刺编码中，他几乎不再手写代码。他把现有的代码或文档交给 GPT-4，说明自己有什么、想要什么，再把报错信息贴回去。这让他的速度快了好几倍，卡壳少了，错别字也少了，因为模型很少犯这些错。他仍然是驾驶者，一次只推进一个类。

委派这个词，他借自 Athena，它的核心检验只有一条：你足够信任这个系统，以至于不再逐项审核。一千份申请进来，没有人会全部读完。他花读 50 到 100 份的时间来验证提示词，然后让它把后 80% 和前 20% 分开，自己从不打开那 800 份。节省的时间约 90%。招聘决定仍由人来做。Rachel Woods 的三级层次是个好记的口诀：只需完成的工作先交给自动化；“够好就行”的工作处于中间地带；洞见和战略仍留给你，最多让副驾驶来协助。等智能体（Agent）到来时，它们就是桥梁：不需要今天这些脚手架，就能实时委派。

然后是尴尬的案例。一位朋友的朋友问了一个法律问题。Labenz 没有资格回答，但他有资格把它输入 ChatGPT。那通打给律师的电话，从来没有打过。他得到的信息足以告诉朋友，对方可能需要换一位律师。对他来说，这就是副驾驶，但它仍然替代了本可计费的时间。现在他会把承包合同同时发给 Claude 和 GPT-4；如果两者都没有提出什么问题，他就签字。到了这个地步，还否认替代，绝对是把头埋进沙子里。原本会按小时计费的专家咨询，已经没有人在打了。这些工作未必就此消失，但替代已经发生了。Torenberg 引用 Sam Lessin 和 Seth Rosenberg 的观点，认为成本下降会引爆需求。Labenz 的回应是引用那条关于农民的推文：总体需求可以上升，而某个具体的人仍可能失去工作。

他对清晰的市场规模押注很谨慎，因为价格不断暴跌，每年 98% 的降价会把这个指标搅乱。不过，OpenAI 的增长超过了他在 GPT-4 红队测试期间的预期：2022 年营收约 2000 多万美元，如今年化营收约 10 亿美元，每月营收 8000 多万美元，九个月内增长了 15 到 20 倍。粗略地按 GPT-3.5 Turbo 每百万 token 2 美元计算，每月 8000 万美元约等于 40 万亿个 token，即平均每个地球人每月 5000 个 token（不计免费用量和模型组合）。另一次开发者大会上的降价，已经有传言。蛋糕长得比他想象的还快，而他本来就以为它会长得很大。

Labenz 自己的账单，就是这个想法的由来。ChatGPT 零售价 20 美元，新推出的 Enterprise 版 60 美元，这是他见过的最高 AI 平台价格。Windows Copilot 30 美元，Google Duet 30 美元，Perplexity Pro 20 美元，Claude Pro 20 美元，GitHub Copilot 个人版 10 美元、企业版 19 美元，Replit Ghostwriter 每席位 10 美元。这些只是他每周都在用的工具。去掉 Enterprise 版 ChatGPT，只留 Windows 或 Google 中的一个，他仍然要付 110 美元。长尾更糟：图像方面有 DALL-E、Midjourney、Playground、Lexica 和 Stable Diffusion；语音方面有 WellSaid、Play.ht 和 ElevenLabs；还有 Waymark、Gamma、Tome 和 Jasper，每个都在 20 美元以上；他还订过可汗学院的辅导，后来又取消了。偶尔才用的应用加起来每月约 500 美元，其中 80% 到 90% 都不值得单独订阅。

供给一侧同样扭曲。服务 Waymark 的一个随机访客，AI 接口成本大约是 15 美分。最低档订阅定价在 10 到 30 美元之间。一个付 30 美元的用户，要撑住大约 200 次免费试用。企业客户（比如 Spectrum、Fox、Gray TV，这类整天投放视频广告的公司）留存得不错。零售用户则是生成、下载、退订，从一开始就没打算长期留下。他的设想是一种有线电视式的套餐：每月 100 美元，先收录一百个经过编辑筛选的应用，之后扩到一千个，附带基础额度，重度用户再加价。Waymark 比较实在的位置，是 ESPN Classic 而不是 ESPN：人们只是偶尔需要一段视频，而不是每天都要。

算账就是这份提案的卖点。如果套餐 100 美元，Waymark 拿其中千分之一，那么每位订阅者就是 10 美分。一百万个套餐，就是每月 10 万美元、每年 100 万美元，外加一批它原本无法转化的轻度用户。美国仍有大约 5000 万个有线电视订阅，所以 100 万个 AI 套餐并不算多。如果到了 1000 万个，分成比例未必能线性增长；应用目录也可能从 1000 个扩到 2000 个。谁来运营？OpenAI 可以公布按规模划分、要么接受要么离开的价格档位，省去上千次谈判。或者，像 Wirecutter 那样的编辑直接说明哪些应用入选。他接触的开发者都看到同样的高流失规律：注册很多，留存很差。他指出，零学习成本同时也意味着零转换成本。人们没有时间对它产生依恋。

Torenberg 表示理解，但并不信服。Ben Thompson 多年来一直主张，人们低估了捆绑销售的经济学，可 SaaS 从来没有形成通用套餐：每家厂商都想把客户关系当作楔子，撬开更多产品。直接面向消费者的模式，只对少数呈幂律分布的头部用户有效。迪士尼能撑起一个 Plus 订阅；CNN+ 已经关停；他自己也从没买过 Discovery+。Labenz 回应说，他想要的是与最好客户之间的计费关系，最差的客户他很愿意放弃。有线电视早就有“用运营商账号登录”的模式，应用仍然能认出用户。Torenberg 补充说，AI 的魔力恰恰不利于留存：价值立即到手，下一个应用也立即到手。

Labenz 的回应着眼于时机。前沿实验室在竞争，但竞争得相当温和。有前沿模型论坛（Frontier Model Forum），论文也还在不断发表，而 OpenAI 的章程写明：如果另一个可信的机构接近通用人工智能（AGI），它们会与之合作，而不是去竞速。Claude 2 和 GPT-4 都还没有触发这一条款。如果他们真心不在安全上偷工减料，那么一套基于规则的商业分成，就能让每位订阅者都少些焦虑。没有人需要担心对手早一天上线。谷歌在微软 Bing 活动前一天仓促放出的演示，正是他不希望在 GPT-5 时代再看到的那种模式。新应用只会让套餐更有价值，而不是抢走结账的机会。

Torenberg 讲的优步与 Lyft 的故事，是一盆冷水。两家的产品一样，风险投资补贴着双方的烧钱。当时担任优步首席业务官的 Emil Michael 试图把两家合并。Travis Kalanick 说必须干掉 Lyft，Lyft 则说他们讨厌优步。归根结底，企业本来就是不理性的，尤其是风险投资人在为“统治世界”式的愿景买单时。Labenz 承认，更可能出现的形态，可以从 Sling TV 的橙色套餐和蓝色套餐中看出来：一边是 OpenAI 与微软的套餐，另一边是 Anthropic 与谷歌的套餐，小应用各自选边，大概还得使用所选一方的模型。这没那么漂亮。他引用了一句话：市场保持非理性的时间，可能比你保持偿付能力的时间还长。如果非理性是唯一的阻碍，他仍然看到一线希望。两人就此打住：看看能不能说服谁来试一试。