OpenAI 首位开发者关系负责人：他的代码 90% 由 ChatGPT 写成，网页智能体仍需数年

Redpoint 的 Jacob Effron 在 2024 年 1 月这期 Unsupervised Learning 节目开场时，正好赶上 ChatGPT 上线一周年。Logan Kilpatrick 是 OpenAI 的第一位开发者关系员工：他在产品发布前就接下了这份工作，开始上班时用户数大约刚到一百万。到了这时，OpenAI 公布的周活跃用户已经是 1 亿，这个数字刚在 Dev Day 上被提及。Kilpatrick 的位置正好夹在这场消费级爆发与基于 API 做开发的人之间。

节目问他实际怎么用 ChatGPT，他没有拿消费者的小把戏来说事，而是说自己在写代码。他有计算机科学和软件工程背景，但并不是网页开发专家，他想要的开发者平台，往往在脑子里比在手上更清楚。“我交付的功能，有一半左右的代码有 90% 是 ChatGPT 写的，”他说。这些工具让他省下了 13 个小时钻研 React 文档的弯路；对于负责这套开发者界面的人来说，这本身也是一种产品调研。

九个月前，他在同一档节目里提到，嵌入（embeddings）没有得到充分使用。这次，他长期押注的是 Assistants API。它仍是测试版，OpenAI 还需要让开发者对检索有更多控制，但客户一直说，他们不想自己去处理那些繁琐细节。半年前还无法从 API 调用的 Code Interpreter，如今成了人们最想上线的能力。他预计，一年后会有多得多的产品“由 Assistants 驱动”。

开发者问得最多的是：该从哪个模型开始？Kilpatrick 的规则很具体：GPT-3.5 Turbo 能力不错，但 prompt 里的指令一旦超过三四条，质量就会下降，与 GPT-4 的差距一目了然。Dev Day 降价之后，不少团队干脆跳过反复调试的环节，直接用 GPT-4，因为省下的钱已经抵不上多折腾 prompt 的成本。知识截止日期的差异，以及只存在于 GPT-4 Turbo 预览版中的模型升级（包括更强的函数调用），也是促使大家往上走的理由。

想继续用 3.5 的团队也有出路：微调。3.5 微调上线时，OpenAI 写道，早期客户把它和 prompt 工程结合起来，用更少的 Token 达到了 GPT-4 级别的表现。函数调用是另一个很能发挥这一技巧的地方。假如一个应用暴露了 50 个函数，每次请求都要在 prompt 里为这 50 个定义付费。用函数调用数据微调之后，这些定义就可以不再出现在 prompt 里；“模型基本上只是在幻觉出这些函数”，听起来有点怪，却能省下 Token 账单。

Dev Day 上宣布的定制模型，位置还要再往上。Kilpatrick 说，你需要大量数据，并且所在领域正是基础模型的薄弱之处，他举的例子是法律和医疗；他估计成本在 200 万到 300 万美元之间，此外还需要数十亿 Token 的高质量数据，而大多数公司根本没有。OpenAI 的研究团队会手把手地参与，因为 API 让人很容易在从未训练过模型的情况下，就一头扎进机器学习。他愿意把符合条件的公司介绍过去。Effron 猜测候补名单一定很长，Kilpatrick 说，如果不长，他会很惊讶。

更好的基础模型会不会让这门生意消失？Kilpatrick 认为恰恰相反：定制模型始终会有需求。基础模型会变得更易操控，但永远覆盖不了所有细节。随着时间推移，定制训练甚至可以丢掉模型用不到的数据，计算效率更高。悬而未决的问题是，OpenAI 能否有朝一日把一个更便宜的版本放进 API；它大概永远会比标准微调贵，而他希望公司朝这个方向推进。

OpenAI 的产品版图已经铺得太宽，Kilpatrick 说，在这种环境下排优先级，是最难做决定的情境之一。举个具体例子：开发者想要按 API 密钥拆分开支。这项工程并不复杂，真正的取舍在于可靠性，而公司把可靠性视为北极星，因为服务如果做不到世界一流，其他一切都没有意义。工程资源一直很紧张，因此把已经做完的研究真正产品化，往往比仪表盘、监控和告警更优先。他希望 2024 年能成为团队把这些毛刺磨平、做成真正企业级平台的一年。

同一份 Dev Day 清单里，文字转语音被排在第七、第八位，这提醒人们：有整家公司只专注于做这一件事。Kilpatrick 已经把演示玩了好几个月，称这个模型在这件事上好得不可思议。他说，ElevenLabs 在分发上做得非常出色，主要是作为消费者和创作者产品。开发者会留在那里，还是转向 OpenAI 的 API，是他正在观察的一个悬而未决的问题。

谈到开源，Kilpatrick 并不是这种文化的怀疑者：加入 OpenAI 之前，他在 Julia 语言社区待了好几年，“开源已经流在我的血液里”。他的预测依然很明确：这些公司发布的大型闭源模型一定会更强，因为前沿训练的成本和工程难度只会越来越高。当企业必须掌握权重和知识产权时，开源仍然有意义；或者当 Llama 这类模型允许更深度的定制时，比如 RLHF，而 OpenAI 的标准微调目前还不支持。他暗示，这类训练选项是 OpenAI 以后应该补上的东西，但没有给出时间表。

即使一年后，一个开源模型达到了“GPT-3 水平”，到 Replicate 上去部署，或者四处争抢 GPU 资源，仍是许多团队不愿支付的开发者体验成本。在闭源这一边，他看到和 OpenAI 一起推出的工具大多是可观测性产品——他没有点名，部分原因是他自己是其中一些公司的天使投资人。一位从 Stripe 跳槽过来的产品经理告诉他，没有请求日志，OpenAI 的 API 几乎没法用；这也是人们为什么要通过第三方代理。Kilpatrick 认为，OpenAI 应该自己做这个仪表盘。

在真正构建功能时，开发者依赖 LlamaIndex、LangChain 和 Haystack。Kilpatrick 很欣赏 Harrison Chase，也希望 LangSmith 能成功，但他不确定企业是否会为一家风投支持的开源公司的付费层买单。有些成熟的公司使用这些工具，是因为工程总监决定不重复造轮子；另一些则拒绝这种依赖，直接重写整套技术栈。他自己用 API 的经验是，如今重新做一层抽象“并不是什么大工程”。两年后，这个天平可能会转向现成的软件。

被问到如果离开 OpenAI，他会去创办什么公司（他小心地不让自己在这个假设上停留太久），他的确有答案：做评测（evals）。新模型不断推出，无论来自 OpenAI 还是别人，用户根本不知道它对自己的任务是否有帮助。想知道的唯一办法，就是一套健壮的评测体系，而今天做一套这样的体系非常痛苦。他还没见过谁做得好。Effron 估计大约有 25 到 30 家早期公司在尝试，但都还没真正攻克，部分原因是这项工作中有太多东西抗拒自动化。

这与 Notion 的 Linus Lee 几周前在节目里说的话不谋而合：评测工具的价值，在于你亲眼看着失败案例；一旦把这件事自动化，好处也就没了。Kilpatrick 认为这个观点很有说服力。他说，边缘案例正是你了解模型如何工作、以及它们如何变化的地方。

录制当天，Google 刚发布了 Gemini。Kilpatrick 相当大度：以谷歌的规模发布东西很难，而 Jeff Dean 的推特显示，背后想必投入了大量思考。他真正关心的问题是，人们会不会用谷歌的 API，或者用 Bard。作为 Gmail、Docs 和搜索的用户，他希望竞争能让这些产品对他变得更好。

Effron 请他把这一年倒回去看，先从插件说起。Kilpatrick 现在把那次发布看作更接近 ChatGPT 最初的研究预览，而不是一个成品，尽管它当时是作为成品卖的。回头看来，让开发者托管一个公开的清单文件，外加一份 OpenAPI 规范，是一种薄弱的面向消费者和开发者的实现。资源限制又让局面雪上加霜：推出插件的人很快被调去做浏览功能，接着是 Code Interpreter，再然后是之后的一切。人们很容易就忘了，已经上线过什么。

他认为，插件的大多数棘手问题，如今已经在 GPTs 中解决。对于重要操作的用户同意提示、认证的麻烦，以及“浏览 + 插件 + Code Interpreter”这样的理想组合，都能放进新界面里；自定义动作本质上就是开箱即用的插件。即将推出的 GPT Store，旨在解决旧插件商店的可发现性问题，那家商店始终只停留在基础搜索和几个分类上。迄今为止，诚实的使用情况更为平淡：大多数 GPTs 只是用来分享 prompt 的方式，而热门的那些集中在编程和建网站上。

他怀疑，自定义动作仍然很少见，是因为对于不写代码的人来说，粘贴一份 OpenAPI 规范门槛太高。这引出了 Effron 提到的一个传言：prompt 工程正在走向消亡。Kilpatrick 给出了不同的看法：prompt 工程本质上是沟通，而用手指打字的人，往往是懒得沟通的人。他希望模型能做到 DALL·E 3 已经能做的事：接受一个简短的请求，改写成更完整的 prompt，并把冗长的中间过程藏起来。你仍然应该清楚地说出自己想要什么，但模型应当不再逼你把剩下的内容全部打出来。

他还没见过、却非常想要的 Assistants 式产品，是以文字为主的助手。把 Assistants API 接到 Twilio 上，在对话中传递 thread ID，在短信和邮件里与人相遇，而不是在一个要你导入 Gmail 的新网站上。他描绘过一个群聊：他自己、他的祖母，还有一个助手。祖母只需在对话里提问，就能得到回答，而不必学会 ChatGPT。这种多人协作模式，如今无论在 ChatGPT 上，还是在常见的个人助手网站上都做不到。Grok 与推特放在一起，在他看来道理相同：人们本来就在那里互相抛出想法。微软的 Copilot 嵌入应用，是这一思路拥有渠道优势的版本；OpenAI 仍然得去用户已经身处的地方。

在另一档播客上，Kilpatrick 曾说，OpenAI 限制了智能体能做的事，因为世界可能还没有准备好让自主系统在网上爬取信息。他再次强调这一点。缺失的工作在于互联网基础设施：他甚至不知道，如今有哪些保障机制能够区分人类和 AI 智能体，他认为这一差距要以年计。网站会需要一扇专门给智能体的门，既因为有些信息不该展示给它们，也因为让模型去识别验证码、点击人类流程，纯属浪费算力。

在他看来，这一时间表要缩短，唯一的途径是“互联网守护者”——苹果、谷歌和其他大型平台——组成联盟。他刚刚与前推特 CEO Parag Agrawal 聊过，后者说各家公司已经在做相关工作，很可能会是一个开放标准。Kilpatrick 否认 OpenAI 手里握着一个完美的智能体产品。安全是放慢脚步的一个理由，谦逊则是另一个理由。即便是人类，也常常发现网站没有按预期工作；要在这样一团乱麻之上搭建可靠的智能体，是一个实实在在的工程问题。

在他看来，AutoGPT 和 BabyAGI 那一波热潮总体上是有益的。如果这些项目没有在消费者中病毒式走红，就不会有那么多人被迫早早思考误用问题，也可能有一些实验室会推进得更快。至于 OpenAI 自家技术栈上的成功案例，他举了 tldraw：你打开一块空白画布，画上东西，画作就会变成一个能运行的应用，而它调度的是 OpenAI 一年里推出的各种组件。他曾在现场看过 Greg Brockman 在三月做的 GPT-4 演示：把草图变成网站。一年后，一位开发者在几天甚至几小时内就复现了其中的精神，数十万甚至数百万人用了它。在他看来，这就是让技术变得可及的完美故事——尽管 tldraw 是有意做得有点花哨。

节目前面，Kilpatrick 把当前的视觉能力称为“GPT-3.5 视觉时代”：很多令人兴奋的用法需要精确掌握物体在图像中的位置，而模型做得不错，却并不完美。他通过 Canva 又谈到这一点。他在 Canva 上做过几百个设计，因为模板弥补了他在美术上的不足；而如今的视觉模型，无法可靠地读懂这些空间关系。表格和收据上的 OCR 也有同样的毛病：大部分内容是对的，结构却常常出错。

他真正想要的，是 Canva 与 DALL·E 的结合：让工具重新排版，并得到可以拖动的标题。DALL·E 的文字“不总是完美的”，常常差上一两个字，而且你无法像在 Photoshop 里那样点进去修改。他和 Effron 都认为，如何让 DALL·E 的输出可编辑，是一个迷人而重要、尚未解决的问题。Photoshop、Canva 或 OpenAI 可能会解决它；总会有人有足够的利益动机去尝试。

回看 2024 年，仍然让企业无法上线的两个顾虑，是稳健性和延迟。Kilpatrick 说，今天要投入生产，仍然意味着要自己搭编排层，并依赖 Guardrails AI 等第三方护栏产品，即便 Dev Day 之后已经增加了针对版权诉讼的赔付保护。延迟则是另一堵墙：许多场景里，用户不可能等上 7 秒。他希望到 2024 年底，如果英伟达持续交付 GPU，就不会再有人抱怨这一点。

有人曾把 LLM 形容为一种人类思维的克隆体，它的运转速度却跟不上思维的速度，而当你想保持创作的心流时，这种错位会让人很不舒服。他也认为，非即时的回答有时反而会是一项特性，他很好奇，谁会为此发明新的 UX 模式。Effron 指出，逐字流式输出本身已经是一个聪明的变通办法；Kilpatrick 表示同意。

快问快答：AI 领域被高估的是 prompt 工程，被低估的是可观测性。如果你真在做东西，不论自建还是购买，都要想办法看清模型在做什么。一年的成功里，最接近失手的是插件：它很接近人们想要的东西，却缺了几个核心部件，后来由 GPTs 补救。悄无声息的爆款则是函数调用。他当初想不到 OpenAI 需要自己做这个功能；但正是它，让大多数有趣的生产级应用成为可能。

他加入时，整个 API 的工程工作由六七个人承担。如今，公司有专门负责能力、微调和企业业务的团队，但工作依然堆积如山。Sam Altman 的董事会风波（他们曾在镜头外讨论过）带来了一个正面结果：它把一家快速成长的公司重新拉回共同的使命上。那些刚入职、亲眼看着一切在眼前闪过的人，用他的话说，是“被那场创伤绑在了一起”。他并不想在将来的纪录片里被别人扮演。

Dev Day 公布的 ChatGPT 每周 1 亿活跃用户，在他看来，一旦把视野拉远，仍然显得很小；这项技术将影响整个世界。对于那些对 AI 好奇又不知所措的人，他的方法是做一次盘点：写下你讨厌的五项工作或生活事务，以及五件你希望自己更擅长的事，然后把工具逐一试用。他仍然会遇到既不用 ChatGPT、也不用 GitHub Copilot 的开发者，这让他大为震惊。他说，会用 AI 的普通开发者，会打败世界上一些不使用 AI 的顶尖人才。他住在芝加哥，不在湾区那个圈子里；至于在仍然看不到日常用途的人群中点起火花，他押注的是苹果：10 亿用户，外加一个真正好用的 Siri。

Kilpatrick 以 platform.openai.com 收尾，并请大家在推特上发给他一些厉害的 GPTs。随后，Effron 和联合主持人 Patrick Chase 总结了这一小时：OpenAI 想成为“AI 领域的 AWS”，做微调、RLHF、模型，整个技术栈，同时给创业公司留出空间，在 Kilpatrick 说 OpenAI 不会自己做的垂直领域（尤其是可观测性和评测）里施展。九个月前他谈的是嵌入；这一次，是寄居在人们已经在用的应用里的助手。他们还注意到，谷歌 Gemini 的多模态攻势会是 2024 年的一个主题；Mistral 则有个习惯：周五放出模型权重，让消息在 Hacker News 上火两次。