首届开发者大会（DevDay）或许催生了数千家创业公司，OpenAI 的 Logan Kilpatrick 这样说

Nathan Labenz 在首届开发者大会次日的访谈开场，提起了当时时间线上一直在传的那个玩笑：OpenAI 昨天到底杀死了多少家创业公司？OpenAI 开发者关系负责人 Logan Kilpatrick 说，这个梗让他反感得很。他认为，只在别人的接口外面薄薄包一层的产品就不算创业公司，它只是建在别人接口上的项目，接口一动，它当然会被颠覆。真正的创业公司从第一天起就在想，怎样建立有护城河的商业模式，以及怎样做出有创新的产品。

他从这次大会得出的结论，与清点伤亡的说法正相反。做有吸引力产品的门槛从来没有这么低，可用的技术也从来没有这么多。他认为，OpenAI 很可能催生了成千上万家新的创业公司，同时给平台上的已有开发者降了价，还推出了大量新功能，让他们能与规模大得多的公司竞争。他说，现在是用 AI 做点酷东西的最好时机。

Labenz 给出了另一个视角。不到一年前，ChatGPT 之所以出现，是因为模型已经足够好，而日常使用还没有跟上，产品本应负责启动需求。一年之后，社区已经探索了 RAG 和智能体框架，OpenAI 则拿出了一个看起来属于同类最佳的版本，打法更像苹果，不像抢先者。Kilpatrick 很想在很多事情上抢先一步。真正的限制是规模。OpenAI 推出的任何东西，都必须经得起数亿周活跃 ChatGPT 用户的考验，并且符合核心产品策略。内部的感觉并不像在暗中打磨，更像一场全力冲刺，一旦有东西准备好，就会立刻推出。

他补充说，人们往往忘了，过去九到十二个月并非空档期。3.5 微调是在首届开发者大会前几周才推出的。Kilpatrick 前一年加入时，公司约有 300 人，现在远不止这个数字，他还提到，领英上估计的员工人数比实际数字略高一点。公司需要扩张，是因为要做的事情实在太多。未来一年团队还会继续扩大。

OpenAI 刚刚更新了核心价值观，比以前更明确地表示，公司致力于构建安全、有益的 AGI，凡是无助于此的事情都不在范围之内。Labenz 把显而易见的质疑摆上了桌面：GPT Store 真的在通往 AGI 的关键路径上吗？Kilpatrick 的回答很精确。OpenAI 的存在并不是为了做最好的聊天平台，也不是为了做最好的 API。这些都是通往造福人类的 AGI 的手段。

ChatGPT 和 API 还承载着第二层理念：循序渐进地把技术交到大众手中。Sam Altman 在主题演讲中说，Assistants 和 GPTs 是迈向智能体的第一步，公司不想一步到位，直接做到其他产品中已经可见的自主工作流。社会和普通人需要时间去适应。ChatGPT 就是让人们看清技术走向的渠道。

Kilpatrick 给出了一个思想实验。OpenAI 本可以一直做研究实验室，在楼里研发可能成为 AGI 的东西，五年后再拿出一个能用的成果。这种结果是有可能的，无论对 OpenAI 还是别的公司。但他认为，这对人类来说并不是最好的做法。如果突然亮出一个强大到没人用过的系统，却从来没有以 ChatGPT 或 GPTs 的形式让大家接触过，就会引发巨大动荡。Labenz 从主题演讲中记下的两句话，正与这一论点相呼应：让人们有机会体验这项技术并适应它，也希望更多人参与塑造 AI 的行为方式。GPT Store 让你无需读 API 文档就能定制一个助手，它也是这项押注的一部分。

Labenz 说，他仍然是那种从宏观上担心 AI 安全的人，但越来越认同能力储备（capabilities overhang）的论点。要么更早把东西公之于众，要么等它们终于出现时，两者的落差本身就会变成冲击。按他的列举，首届开发者大会的主题包括：多模态、通过降价和 Turbo 提速来提高可及性、平台扩展（把向量存储和运行时从 ChatGPT 带进 API），以及智能体。访谈的其余部分，是试图从开发者的角度填平这一能力储备的落差。

Assistants 和 GPTs 目前能走到什么程度？它们没有自我规划的机制。AutoGPT、BabyAGI 等传统智能体产品会先写出计划，再执行任务，然后跟进。GPTs 没有这种能力，它的循环仍是：发送消息，得到回复，再发送消息，再得到回复。规划之外，还缺两个环节：长期排队的动作，以及用户没有明确要求的后台工作，比如检查邮件是否有更新。借助 Assistants API，一个有决心的开发者可以拼凑出其中一部分。Kilpatrick 预计 API 和 GPTs 最终会做到这一点，前提是能安全地实现。

可靠性是第三个缺口。他认为，无论是 API 还是消费级产品，目前还没有人在智能体上打出全垒打。他试过不少，结论是：使用智能体所花的工夫，跟自己动手做这件事差不多。在现阶段，你甚至可能承担了更大的风险：把凭据交给一个你看不到每一步的系统，它未必会照你想要的去做。仍缺一些小的打磨。等这类工作流真正做好的时候，他预计智能体会爆发式增长。

还有一个关键的社会约束。互联网和社会还没有准备好迎接一亿甚至十亿个智能体。ChatGPT 有 1 亿周活跃用户。如果他们每个人突然都有能代为办事的智能体，现有的产品和服务将无法应对。照这一说法，GPTs 是让企业和个人开始思考那个世界的一种方式。当被问到 OpenAI 是否刻意不把规划能力训练到某个程度时，Kilpatrick 说两方面都有一点。核心技术仍需改进，过去几天也是在范围受限的前提下全力冲刺。更深的挑战是让世界上的其他人都接受并习惯这项技术。他对模型团队的担心不多，更担心的是这个采用问题。

广告之后，Labenz 从模型聊起。GPT-4 Turbo 的 1106 预览版每天限制 100 次请求，因为它还不是最终版本：这是一个早期的候选版，仍需后训练才能达到 API 通常的标准。Kilpatrick 给出的时间表以周为单位，希望不到几个月，就会有正式版取代预览版。现在发布的目的是收集反馈：把它当作可直接替换的模型来试用，留意是否有性能回退，并告诉 OpenAI。Labenz 开玩笑说，跑完整套 MMLU 会吃掉好几天的配额，而 Dan Hendrycks 的团队大概已经开始把请求集中起来统一调用了。

首届开发者大会上最高层级的性能宣称，就是一句“比 GPT-4 更好”。Kilpatrick 没有承诺预览版开放当天就附上包含 MMLU 和律师资格考试（bar exam）成绩的完整模型卡，不过他希望能做到。他用 3.5 作为参照：内部评测显示，在 JSON、XML 和 YAML 等格式遵循任务上提升了 38%。他承认，上一次 API 模型发布没能很好地说明性能差异。他们希望发布更多基准测试，也希望社区来跑评测，让这些结果经得起检验。API 中的视觉目前以两个模型的形式出现，因为两条技术路线没能及时统一；背后其实是同一个系统，最终会合并为一个。这期间会有一处很小的系统消息改动，可能会打乱部分提示词的效果。

3.5 Turbo 微调现在开箱即支持 16k 上下文，并支持函数调用。16k 一直是客户提的头号需求。Labenz 的公司 Waymark 用 3.5 微调模型来写视频脚本，此前为了控制在 4000 个 token 以内，一直在截断输入。16k 让迭代、类似聊天的来回对话和工具调用都成为可能。Kilpatrick 说，客户已经用 3.5 微调拿到了接近 GPT-4 的效果，额外的上下文加上这个版本更好的指令遵循能力，会进一步缩小差距。Labenz 自己最大的一招是用推理过程来训练：不只给好的示例，还要附上为什么这段脚本要这样写的解释。这个差别非常大。Kilpatrick 把人们引向首届开发者大会的一场分会，由微调团队的 John 和 Colin 主讲，已经录制完毕，几天内就会发布。

GPT-4 微调目前还是一个实验性项目，不对所有人开放。这个模型强大得多，也贵得多。OpenAI 不希望随便哪个开发者开了训练任务，看到账单后才发现自己对数据不够小心。他们并没有在找某种特定的用例。门槛是很实际的：除非你已经用过 3.5 微调，尤其是现在有了 16k，否则你甚至不会有申请的选项。早先泛泛的候补名单是一场灾难，100 万人说自己感兴趣，却没法筛选。以既有使用记录为门槛，是他们提高信噪比的办法。

定制模型位于这一阶梯的顶端。Kilpatrick 听到的入门价格大约是 200 万至 300 万美元。Labenz 原先猜是 1000 万美元，他说，对于手握大量专有语料、账上有上亿美元的人来说，这个真实数字简直是划算的买卖。Kilpatrick 说，关键在于，如果你投入大量自有数据，就能把可能性推得更远。最适合的是把核心产品建立在这些模型之上的 AI 原生公司。如果你有风险投资背景，或者是处于后期且有现金的公司，就可以用数十亿个别人没有的 token 来训练。这正是人们一直问 OpenAI 的问题：怎样才能在你们的平台上建立有护城河的商业模式？

他也是公司里最能体会普通开发者心声的人。大多数做项目的人手里没有两三百万美元。他希望人们能从这个过程中学到足够多的东西，从而把成本降下来。眼下对 OpenAI 来说，这也是一笔巨大的投入：真正的研究人员从头到尾参与改进模型，这些人本来可以去做许多别的事情。Labenz 想不出还有什么比这更好的用途，能让公司资产负债表上的一亿美元发挥作用。他说，上市公司的 CTO 都应该排上候补名单。Kilpatrick 补充了一笔自建与外购的账：一家真正的技术公司如果雇人、买算力，至少要花几百万美元的资本开支，结果最后得到的仍是性能较差的东西。

版权盾（Copyright Shield）是企业端的另一大头条：如果客户因生成内容被控侵犯版权，OpenAI 会承担相关费用。Kilpatrick 不愿透露具体的例外情况，只说详细的页面即将推出，但策略是让客户放心。其他服务商已经这么做了，OpenAI 也需要这么做，好让法务部门不再成为公司无法开发产品的理由。没有人想卷入诉讼。他说，这对客户来说仍是重要的服务。Labenz 趁这个间隙，把标准说明记录在案：API 数据不会用于训练，上传到 Assistants 的文件也不会用于训练。想让模型为自身场景改进的客户，可以主动选择加入。三月份的那项改动仍让 Kilpatrick 感到欣慰：哪怕只是一小部分抽样数据，也足以让一些人不敢用这个平台。

图像理解是 Labenz 最感兴趣的模态。Waymark 会从网上抓取图片来制作客户视频，判断图片好坏一直是件费力的苦差事。它的定价看起来很激进：每张图片最高约 1 美分，最便宜的低分辨率方案大约每美分可以处理 12 张图。Kilpatrick 解释说，低分辨率模式会把图片重新调整为 512×512。文档里的人工测试标准是对的：如果仅凭这张缩略图就能回答问题，模型也应该能回答。如果你需要的是某个角落里的细小细节，就拿不到。高分辨率则逐块处理图片，每块仍是 512 的正方形，所以成本更高。建议先试低分辨率。

Labenz 发现，几乎没有哪个图像模型对一张图有多美有感觉，它们只懂图里有什么。Kilpatrick 还没试过这个审美问题；他猜测模型具备 GPT-4 的通用推理能力，但这和品味不是一回事。在托管价格的比较上，低分辨率视觉看起来比 Replicate 上的 LLaVA 13B 便宜，Labenz 估算后者大约每美分能处理 3 张图。DALL-E 3 则走了另一个方向：每张 4 美分，远高于许多托管的开源选项。Kilpatrick 不清楚具体的成本动因。总体策略是尽可能按算力允许的最低价格定价，而他们一直在降价。DALL-E 3 是一个功能强大、生成成本很高的模型，图像模型周围还有大量安全系统，这些也可能是成本的一部分。

Whisper large-v3 已经宣布，但还没有进入 API。最让人意外的是英文的表现：在两个基准上，它的词错误率大约排在第七位，在另一个基准上大约排在第三或第四位。这次发布的重点其实是非英语语言。Kilpatrick 对此很高兴。语言模型和互联网都过度偏重英语，这让语言类产品在其他地方的可及性变差。在现有语言上做到世界一流，是他们需要更广泛补上的功课。像 v2 那样把 Whisper 托管在 API 里，人们就不用折腾 GPU；开源这一类模型也是有意为之。演示中途切换语言的效果，看起来已经非常无缝。

API 中的文字转语音，标准版每千字符 1.5 美分，HD 版每千字符 3 美分。Labenz 拿它和 ElevenLabs 对比，后者大约是 15 到 30 美分，差了整整一个数量级。他还觉得，这些声音恰好处在一个有用的位置上：略带诡异，明显不是真人，但依然好听。他认为，这与 ChatGPT 这个名字所起的作用相同：让人很难把它当成人来看待。Kilpatrick 无法确认这是不是设计意图。他猜想，普通听众仍可能被说服，以为自己听到的是真人。所以条款中已经要求你必须告诉用户，这不是真人的声音。误导用户是红线，不管音色当初是不是为此调校的。

ElevenLabs 和 PlayHT 并没有被淘汰。它们有非程序员也能用的前端界面，这也是 ChatGPT 相对于原始 API 同样要承担的成本。它们支持声音克隆，OpenAI 目前不提供这项能力，Kilpatrick 的同事把它视为一团难缠的乱麻，可能很长时间都不会推出。它们还能做情绪调度，比如你要的是游戏角色的那种能量，而不是 NPR 旁白的风格，这不在本次发布的范围之内。Kilpatrick 的兄弟当天正在写一篇博客，他给的建议只是直接用文字转语音朗读。一个全能的语音到语音 API 显然是下一步要打通的环节。今天把 Whisper、语言模型和文字转语音串起来，就要多次付出往返延迟的代价，这是最糟糕的体验。他想象最终会做到语音到语音，但不知道什么时候。

可复现的输出不等于缓存。即便缓存了以前的生成结果，同一个提示词下一次也可能给出不同的补全，那缓存也派不上用场。在测试版中你可以预先指定 seed；相同输入加上相同 seed，应该得到相同输出，你可以通过 system fingerprint 来核对，因为幕后还有远不止 seed 的变量。关键在于单元测试：如果你不知道预期输出是什么，就无法充分测试一个系统。即将推出的输出 token 对数概率，是 Labenz 最大的意外。他原以为，出于对模仿学习的担心，OpenAI 永远不会在最好的模型上重新开放它。Kilpatrick 说，他们担心的是 IP 泄露，所以只开放输出 token 的对数概率，没有放出完整的数据转储，而且花了六到十二个月的开发者需求，才找到平衡点。Labenz 的判断（Kilpatrick 既没有证实也没有否认）是：所有“已经追平 GPT-4”的说法，都离真实水平很远。

插件从未真正找到产品与市场的契合点。Kilpatrick 负责过 ChatGPT 插件商店，他列出了结构性的原因：你得是开发者才能做插件；用户本该看到的产品细节被藏了起来；选了某个插件，就得放弃 Code Interpreter 和其他模态。GPTs 是插件的进化版。你可以在一个地方同时获得自定义指令、全部模态、检索、Code Interpreter 和动作（Actions），还可以把你过去当作插件使用的 API 暴露为一个动作。想同时用 Code Interpreter 和自己插件的客户，终于能端到端地掌控整个体验。一个 GPT 可以挂多个动作；但目前还做不到消费者最终想要的那种一键接入 Gmail、Slack 和日历。现在你需要提供 URL 和 OpenAPI 文件。第三方邮件插件之所以存在，是因为 Gmail 自己从未做过，而这是一个 Kilpatrick 不会轻率做出的数据共享决定。

动作补上了插件缺少的两项能力。混合鉴权让部分端点保持开放，用户可以先试用产品，想保存时再强制登录。把某个动作标记为具有后果的，就会强制显式确认，模型就不能在未经同意的情况下替你做事。这两项都是插件开发者的头号需求。GPTs 上的检索目前还是个黑箱：不能自定义分块大小，也没有调节拉取记录数量的参数，但你可以在指令中加以引导，例如“只根据我上传的前三个文件回答”。Labenz 说，首届开发者大会一场分会的幻灯片展示了常见的检索技巧，包括假设性文档嵌入、重排序等等。文件检索的存储按每个 Assistant 每天每 GB 20 美分计费；Kilpatrick 在节目中不确定半 GB 是否按比例计费，说他会去测试。OpenAI 倾向于选择对大多数人有效的默认值，就像微调会自动设置超参数一样，因为用户随意覆盖这些值，往往会把结果弄得更糟。

Labenz 正在和 Athena 一起做原型。Athena 是一家行政助理公司，它的客户各不相同。那应该是一个 Athena 助手、每个客户一个线程，还是每个客户一个助手？Kilpatrick 说，这取决于指令和能力是否真的不同。如果唯一的差别只是文件，文件可以挂在线程层面。他会先从更通用的做法开始，把你所知道的关于这个人的信息写进系统指令，再把更深的定制作为下一步。共用一个助手，你会损失一点个性化，但也有了一个起点。

安全在主题演讲中没有占用太多时间。Kilpatrick 的说法是，Assistants 并不算一项全新的能力，它只是把聊天补全串联起来，配上数据库，再加上其他地方已经存在的模态。每种模态都各自经过了红队测试。他能指出的公开材料是 GPT-4 with Vision 系统卡：一份 18 页的分析，讨论发布一个能看图的通用推理系统时涉及的各种问题，外加一页合作者名单。Greg Brockman 的视觉演示是在三月进行的；直到十一月第一方和第三方 API 上线之间的这段时间，很大程度上就是在做这项安全工作。它遵循的是 GPT-4 的模式：模型早在公开发布之前就已经准备就绪。

漏洞赏金计划已经在常见的众包平台上线，系统级漏洞确实会获得报酬。Kilpatrick 认为越狱不在范围之内，因为那属于模型行为问题，不属于对 OpenAI 系统的访问。Labenz 请他把这个要求带到下一次圆桌讨论上：把越狱纳入可参与的类别。攻击面大得惊人，给一点激励会有帮助。Kilpatrick 说这个要求有道理。

Altman 在主题演讲结尾说，今天宣布的内容与 OpenAI 正在酝酿的东西相比，会显得很普通。Labenz 真正想问的是，连 OpenAI 自己到底知道多少。Kilpatrick 把这个问题拆开来回答。研究路线图既更加定型，又更难预测，因为算力必须分配：研究团队能说出他们下注的十个方向。真正行得通、并成为产品模态的东西，仍是未知数。每次大发布之后，他都有同样的感觉：好像已经没什么可发布的了。然后到了第二天再聊，他又会注意到一堆显而易见、并不疯狂的事情，它们会让别人去做出开创性的产品。Labenz 说，OpenAI 内部乃至整个领域，节奏都很快。