代码只值一毛钱，应用用完就扔

Nathan Labenz 围绕一个正在变得主流的观点展开这一期节目：下一次飞跃是“行动”。语言模型需要把一句杂乱的英文请求，连接到由 API、浏览器、其他软件，以及最终的机器人组成的行动空间里，而用户的历史却散落在邮件、Slack 和日历中。人们早已想象过从《杰森一家》到《她》里的各种助手。ChatGPT 之所以突破，部分原因就在于它看起来像一个助手。在 AI 安全领域，助手被当作对齐研究的试验场。从经济角度看，一个真正好用的助手就是一名虚拟员工，这个奖项大到 Alexa、Google Assistant，以及传闻中的 Siri 更新都会来争。

Lindy 同日发布，它不是一个黑客松玩具。Crivello 已融资 5000 万美元；团队在发布前已经用 GPT-4 做了一个月。产品仍处于紧密的封闭测试阶段。在屏幕共享中，他输入一个请求：找十名旧金山的软件工程师，然后看着列表出现，接着让 Lindy 起草招聘邮件。他说，界面没有一处是硬编码的，模型会在运行时组合界面组件。定期任务是演示的另一半：会议开始前五分钟，把 Zoom 链接、邮件往来、录音和领英资料都拉出来，再把一份简报发到 Slack。Lindy 已经能加入他的会议、转写内容，并且可以被要求根据转写稿去更新 Salesforce，或在 Linear 里开任务。

对于任何在做智能体的人来说，训练的故事才是关键。他们教会了一个大语言模型，仅凭文档来使用工具：把 Stripe API 或 Slack API 像人读文档那样喂给它，再给它一个目标。“帮我和 Nathan 明天找半小时”，就会变成一连串步骤：先用 Google Calendar 找空闲时段，再用 Gmail 发出去；等 Nathan 回复后，再回到 Calendar 去占位。新用户不会像对待人类助理那样把密码交出去。授权采用即时的 OAuth：只在第一个需要某个账户的请求出现时才授权。在底层，智能体会写代码，而这些代码里包含能够回调自身的函数：先拉取 Zoom 录音，再拉取邮件，然后再次调用自己来做总结。

Crivello 一直拿工业革命来类比，因为经济上的相似性正是重点。当商品便宜到一定程度，一次性用品就不再难以想象了：比如 Bic 圆珠笔、Solo 纸杯，还有拿破仑时代关于铝制餐具的轶事，如今它就相当于扔在客厅里的一个 La Croix 易拉罐。软件仍然需要几万到十万美元才能做出来，但它正迅速逼近一个应用只需一分到一毛钱的世界。到那时，你为这一次会话写一个程序，用完就扔。他说，每次你给 Lindy 一个用例，它都在这么做。

Labenz 其实已经体验过一点点。按录制时间算，这已经是 GPT-4 之后的第七个月，他曾让基础模型做图表或做一点分析，然后看着它干活，没有认证，没有运行时，也没有 Lindy 加上的那些递归循环。有意思的区分在于一次性任务和长期自动化。帮你找明天的时间，是用完即丢的。“开会前把 Zoom 链接、他们的领英和一份摘要发给我”，则是你会留着的程序。Crivello 目前做得最好的，是那些你会交给行政助理的工作：邮件、日程、合同、客户开发和招聘。早晨的收件箱分拣会附带草稿，并且用你写给特定收件人时的口吻，理由是：你写给配偶的方式，不会和写给投资人的一样。

他不想把面向消费者和面向专业人士的划分，当成永久的界线。在他的描述中，这是一种新型的计算，一个“反向操作系统”。普通的操作系统位于硬件之上、应用之下。Lindy 则位于应用和数据之上，把它们串联起来，最终成为你真正在用的东西。未来的计算体验，就是你和一台电脑对话，由它与你一起做事，或者替你做事。

Labenz 想知道为什么是现在，以及一家初创公司怎样才能在 Alexa、Google 和 Apple 的夹击中活下来。Crivello 十多年来一直接近 AI，那是被 ImageNet 时代的热潮吸引的，当时 CNN 和 RNN 开始真正奏效。他作为软件工程师学过 Coursera 的课程，但找不到够有趣的用例；他差一点就在 GPT-2 前后做出了东西，也试用过 GPT-3，直到 ChatGPT 让好的结果快速出现，他才感觉这些产品真正具备可行性。他说，离得近的时候，很明显会有前所未有的事情发生。这就是为什么现在正是时候。

他尽量不花时间去想竞争对手。他记得 Jeff Bezos 的一句话：你的竞争对手，不是给你掏钱的人。市场将足够大，足以容纳许多赢家。现有的助手都有结构性的劣势，那就是速度。Reid Hoffman 形容过，在雾夜中、在不确定的地形上开车，谁都看不远。大公司在这种天气里更加吃力。初创公司可以把一个边边角角还有些粗糙的东西推出去，而不必重演谷歌 Bard 那次演示，那次演示一夜之间让谷歌损失了数十亿美元的市值。

真正的切入点不在于什么秘密功能。Google Assistant、Siri 和 Alexa 是消费级产品，从第一天起就必须服务普遍的用户。Lindy 瞄准的是被会议淹没的忙碌专业人士，把混乱理出头绪，而这些助手做不到。Apple 有 FaceTime，包括在日历邀请里附上链接，而 Zoom 之所以仍然是一家强大的公司，是因为它专注于 Apple 在结构上无法追逐的 B2B 场景。初创公司的优势，在于能够专注于任意一个细分市场，而不必撒下一张这么大的网；同时也拥有改变方向、做实验、承担大公司负担不起的风险的自由。

被问到 Lindy 如何在 GPT-4、Claude、开源选项和内部训练之间做选择时，Crivello 只给了团队一条指令：回答质量，而且只看质量。他不想在会议室里讨论成本。他说，过去一年模型价格大约下降到了原来的 20 分之一，这不是瓶颈。Lindy 目前每位客户每月的成本是几十美元，这没问题。GPT-4 远远领先于他们试过的所有模型。而且，为某个狭窄的用例训练自己的模型，往往能把 GPT-3.5 远远甩在身后，这一点常常令人惊讶。

这个领域变化太快，他们不得不做到与模型无关，一旦有新的开源选项开始奏效，就能迅速切换并重新训练。目前他们主要运行 GPT-4，同时用收集到的数据微调自己的模型，而这些模型在内部基准测试上进步很快。他预计最终会是多种模型并存，但依然只看质量：某个专业模型在 Lindy 的任务上追上并超过 GPT-4。Labenz 背了一遍价格的历史：每千个 token 从六美分降到两美分，再降到 0.2 美分，之后 GPT-4 又推出了更高的档位，价差大约是 20 倍。Crivello 的回答是：付钱。别跟摩尔定律对赌，而这条曲线还要快一个数量级。问题在于芯片变好的速度，能否快过好东西变便宜的速度。他说，历史表明，好东西变便宜非常快，而便宜的东西未必会变好。

GPT-4 对比 3.5，不是温和的升级。仅更大的上下文窗口，就让一大堆变通办法失去了意义：总结、嵌入、微调，以及绕着上下文上限打转的各种办法。窗口仍然是一种限制，但已经小得多了。提示工程也少了很多：3.5 需要被哄着干活，而 GPT-4 常常无需额外提示就能工作，就像一个你不必告诉它不要做 X、Y、Z 的助理。缺点是速度。生成得慢，演示中会停顿几秒钟。即便是 30 秒的等待（他们实际上并没有这么慢），仍然会胜过人类助理。这个产品 24 小时可用，大约十秒钟就能回答。从这项工作真正重要的角度看，它已经超过了人类。

一个人类队友会逐渐了解你。AI 的默认模式是：把所有东西嵌入、运行时检索，再把最相关的片段塞进上下文。Crivello 的系统混合了三种做法，因为模型既需要偏好，也需要数据。偏好原本要放进向量存储，直到 GPT-4 的 32,000 token 窗口让他们重新考虑。一个人真正有多少偏好？不会有 30 页那么多。他们现在直接把偏好放进提示词，比如周五不开会，上午 11 点前是专注时间。如果列表将来变得太长，再重新考虑检索。这效果很好。

数据走两条路。一个上下文注入器位于代码生成之前，读取用户的提示词，判断必须回答哪些问题、答案在哪里，然后把提示词补充完整。“给 John 发封邮件”，首先要决定是哪位 John，需要查联系人、日历和邮件；而你每天都写信的那个 John 会胜出。另外，代码生成模型还能在运行时去获取：请求里链接的一个 Google 文档，很可能要调用 Docs API，然后做总结，再发邮件。在此之上，他们还在自己的数据库里为用户建立档案，数据来源是用户愿意连接的任何渠道，直到助理比任何人都更了解你。隐私不只是口号。Crivello 指出，secretary（秘书）和 secret（秘密）同出一源。Lindy 不该泄露信息；公司不会出售数据，也不做广告。他们靠收取服务费盈利，这让激励保持一致。

他们在首页公布了七条宪法原则，既作为公开的记分牌，也作为每个层级都要用的准则：高层战略、产品决策和训练。Labenz 从中听出了 Anthropic 的 Constitutional AI 的影子，先写一份简短的书面标准，再让模型依据该标准批判自己。Crivello 说，两者很相似，但更深入。他们做微调，使用基于 AI 反馈的强化学习，而这些原则贯穿于每一个这样的循环中。第五条原则是对模糊性的适应能力，这在过去对计算机来说是不可能的，现在借助语言模型几乎免费就能实现。它也与另一条原则，即可靠性，存在张力。Lindy 不能出错。

内部用来形容模糊性的意象，来自一篇老文章《送信去加西亚》（A Message to Garcia）。一位将军需要有人穿过战火送一封信；那个只说一句“搞定了”的士兵，才是你要的人，而不是反问加西亚是谁、在哪儿的人。如果你每天都见 John，那么“给 John 发封邮件”就不该变成一场考试。但只要适应模糊性和可靠性发生冲突，前者就会败下阵来。这套启发式有两个因素：你对这是正确行动有多确定，以及如果错了会有多糟。搜索邮件是一回事；把解雇通知发给了错的人，则是另一回事。第二种切分是读与写。只读操作，比如搜索、调研搬家公司，可以直接进行。发邮件、购买东西，或者代表他人行事，则要等待一个明确的“好”。

GPT-4 不再返回顶部 token 的对数概率，过去人们正是借此从 API 读取模型的置信度。Crivello 推测，OpenAI 撤掉这些数据，是为了让竞争者无法用 GPT-4 蒸馏出 GPT-4。这也是自己训练模型的又一个理由。在此期间，他们有一个独立的置信度模型：输入提示词和上下文，输出一个拟议的行动，并给出一个分数，衡量该行动是否真正符合要求。护栏并非位于末端的单一裁判。他们组合智能体和工作流，护栏贯穿每一步。用户可以把“发送合同”定义为 DocuSign 加模板加邮件，再把“给供应商办理入驻”定义为先发送一份 NDA，最终形成一组相互调用的、有名字的工作流。

他是否信任它去订机票？相当信任，因为不可逆的那一步前面仍然有确认环节：从迈阿密飞旧金山机场，列出选项，他选第二个，剩下的交给 Lindy 处理。世界上能通过 API 触达的东西，比人们想象的要多。做不到的地方，他们正在开发一个浏览器代理作为后备。长期来看，入口既不会是单一文本框，也不会完全像《她》。他们想成为大语言模型的 PC，围绕一个已经能当提示词用的奇迹，打造包装、工具、数据和容器。邮件、Slack、会议、语音备忘录，最终还有它会接听的电话。Labenz 提到之前 Replika 的一期节目，问：色情角色扮演，是不是他们想做的事？那不是他们想做的事。越狱问题会是早期用户需要用实际经验去检验的问题。

训练自己的模型，确实会引出一堆麻烦，而前沿 API 厂商已经在这上面花了好几年。Crivello 很高兴 OpenAI 认真对待安全，并指出即便是他们也无法阻止越狱，越狱每时每刻都在发生。就算 OpenAI 做到完美，也无法阻止别人训练自己的系统。不管我们喜不喜欢，模型都会存在，并且几乎能做人类想要的任何事情。这是更大的社会问题，不是产品上的一个勾选框。他和 Labenz 都注意到，同一周里，Meta 的 LLaMA 和斯坦福的 Alpaca 已经证明了这一循环有多快：发布、微调、一句“跟 text-davinci-003 一模一样”，再到被下架，一轮就能完成。

Labenz 提到 Penn 和 OpenAI 研究人员的一篇论文，讨论语言模型对工作的暴露程度。无论怎么解读这些图表，他都把下限估计在约 25%，尤其是当模型具备 Lindy 正在构建的那些周边工具之后。Crivello 把时间跨度分开来看。未来五年，他并不太担心失业。人们一直都在担心这件事，这是对人类无穷欲望的想象力不足。把人从自动化的任务里解放出来，他们就会去做只有他们能做的事。1900 年代初，大约 90% 的劳动力是农民；如今大约是 5%，美国的失业率也没有陷入灾难。每个季度，岗位的总创造与总消失都以百万计，最终登上新闻头条的只是很小的净变化。他说，经济比焦虑的假设更有韧性、更有弹性，也更能迅速重新调整。他对提升 GDP、让人们效率提高 20%、30%、50% 感到兴奋。

凯恩斯预言的每周 15 小时工作制，并没有如期到来。Crivello 认为，那个预测太早、也太急切，而非错误。美国人均工作时长已经下降了几十年；他估计，目前的工作时长比一百年前低了大约 40%。到了某个时点，边际收益递减，人们就会选择更多的时间，而不是更多的东西。这将是调整的一部分。Labenz 希望的是闲暇，以及数字化优先的机器人仆人。AGI 和 ASI 是另一个时间尺度。Crivello 说，一切都不好说，没人知道。

这款产品仍是有限的私人测试版，每周都在新增用户，正式上线的时间定在今年某个时候，这个时间窗口可能是下个月，也可能是九个月之后。他点名的阻碍是可靠性，并拿自动驾驶打比方：每百万英里一次致命事故，这个统计数字你不可能从演示中读出来。你需要的是里程。他们也仍在摸索人们究竟想让助手做什么，而且他们宁可打磨出一个神奇的产品，也不愿把一个粗糙的产品扔给普通大众。被问到除了 Lindy 之外还用什么，他说写作时用 GPT-4：对着麦克风讲 20 分钟，用 Whisper 转写，稍作风格指导，半小时就能写完一篇博客，而不是花六个小时。此外还有一些 Whisper 的包装工具，以及一个小型 Heroku 应用，它嵌入了 Y Combinator 的演讲，你可以问它该怎么思考招聘，几分钟内就能得到提炼后的建议。

Labenz 注意到，每当他问嘉宾都在用什么，答案仍然大多是 ChatGPT，外加一两个别的东西，尽管每天都有新应用冒出来。Crivello 认为，许多 AI 应用太窄了，比如有一个工具专门搜索 YC 视频，而每周 Product Hunt 上又会有几百个新品发布。没人想要几百个账号，大家想要的是一个大工具。ChatGPT 是目前最接近的东西；Lindy 是另一次尝试，想做一个更通用的东西。他并不认为它会消灭所有软件。亚马逊什么都卖，但你买房子、买车或买连衣裙时，仍然会用垂直平台。在这幅图景里，Lindy 就像亚马逊：是完成各种事情的默认文本框；而当某个垂直领域真的很专门时，专业的 CRM 等工具仍会留在技术栈里。

一个假想中的 Neuralink，把念头直接变成文字输入 Lindy，并不能很快打动他。隐私和安全问题太棘手；他会等很长时间，大概十年甚至更久。你只有一个脑袋。把视野拉远，他对未来几年的希望，是把人们从琐碎的工作中解放出来，比如数据录入，还有找时间那种日程上的你来我往。这些工作人类不该去做，用他的话说，人类本身就是 AGI。这些活应该交给机器人。他担心的是虚假信息，而从非常长远的角度看，他担心的是生存性风险：AGI 出大错的概率很低，但并不为零。

被问到应对之道时，他说了一句他自己也标注为“不太像他平时会说的话”：我们需要监管。他不相信私营部门能在安全问题上自我监管。航空业受到极其严格的监管。盖房子的时候，出于安全考虑，建筑也受到极其严格的监管。我们对 AI 也需要做同样的事。Labenz 就此打住，留下的是一段有意思的几年、一份候补名单，以及一个本该让生活自动驾驶的助理；Crivello 则回去继续发布产品。