30 秒看懂
前哈佛教授、谷歌首席工程师 Matt Welsh 对 Nathan Labenz 说,大语言模型是可以用英语编程的计算机,智能体最先承担的真正工作,是人类仍在手工完成的那些杂乱的管道活儿。Fixie 在 ChatGPT 出现之前,已经朝这个方向做了一年多;他说,1700 万美元的种子轮融资靠的是时机,以及一个终于让同样能力变得可用的消费级界面。接下来的谈话转向实际问题:销售邮件的分拣、企业数据流动、提示词注入、会话记忆、端侧推理,以及一种可能真正推出的形态,一只“Spike Jonze 式”的耳机。
- 1Nathan Labenz 在 2023 年 4 月下的赌注是:智能体会成为 AI 改变世界的主要方式之一,因为它们能接管人们目前充当“人肉管道”的那些临时性信息路由工作。
- 2从 GPT-3 到 ChatGPT 的跃迁,主要不在于模型上的飞跃。同样的能力原本就放在 OpenAI 笨拙的 playground(测试场)里;真正改变一切的,是一个人们真会去用的消费级界面。
- 3Welsh 的二维地图,把产品放在“副驾驶与自主”以及“语言与流程”两根轴上。语言模型是一台可以用英语编程的计算机,能够处理 JSON、电子表格和 XML,而不仅仅是营销文案。
- 4身为 CEO,Welsh 的邮件中大约有 70% 是有人想向他推销他并不需要的东西;如果置之不理,就会触发五封、十封、二十封自动跟进邮件。模型本来就能分类,并礼貌地婉拒;它们缺的是伸进收件箱的“附肢”。
- 5在内部 Notion 维基上问一个智能体,查询可能先打到 OpenAI 或 Anthropic,再到 Pinecone 这样的向量数据库,然后落进一份你删不掉的对话日志。这条链路上的每一跳都可能是第三方,全都要记进合规台账。
- 6在 HTTPS 出现之前,网络明文运行了多年,而网站在 SSL 问世之后也慢慢才采用。新技术总是在安全与隐私准备好之前就起飞,而人们会为了换取价值,把敏感数据交给下一个谷歌或 Facebook。
按章节阅读完整文稿
智能体将是 AI 真正改变工作的主要方式之一
Matt Welsh 是 Fixie.ai 的创始人兼 CEO,这家公司打造的平台可以用自然语言构建智能体,连接数据、调用 API,并承接流程类工作。就在他坐下来和 Nathan Labenz 录制《The Cognitive Revolution》之前,公司刚宣布完成 1700 万美元的种子轮融资;Labenz 调侃说,这个数字多少带着点 2021 年融资的气息。Welsh 的履历即便放在硅谷也很少见:哈佛计算机科学教授,在谷歌做了十年首席工程师,又在苹果待过一段时间,然后才是这家创业公司。Fixie 当时处于开发者预览阶段,聊天界面上,你可以像在 Slack 里 @ 同事一样 @ 一个智能体。
业界的注意力才刚刚转向智能体。Welsh 已经为此构建了一年多,他把谷歌 2022 年 1 月发表的 LaMDA 论文视为火花:它展示了正确的提示词可以教会语言模型调用外部工具、推动一个流程。Labenz 自己的判断很直接:认知工作本身已经有用,但只要人类还要想办法把信息送进模型、再把信息取出来,自动化就始终受制于落地。
照这种说法,智能体承诺处理的不只是推理,还有那些杂乱的细节:搜索、整理、登录、阅读文档、调用 API。Labenz 看不出它必然失败的深层理由;强化学习加上日益丰富的工具栈,似乎很适合解决剩下的问题。他预计 2023 年底前会看到明显进展。他没有声称知道的是,一旦智能体开始与人类、现有软件以及彼此交谈,世界会作出怎样的反应。
ChatGPT 没有发明这种能力,它只是让同样的能力变得可用
被问到过去两个月的感受时,Welsh 只用了一个词:疯了(bananas)。他把 ChatGPT 这样的系统看作一种刚刚落在后院的外星技术,每个人都在拆解它,看它能做什么。谈到融资,他用了一个比喻:ChatGPT 是“往水里撒了鱼饵”(chummed the water),吸引来了大量投资人的注意力。Fixie 恰好站在了正确的位置上,因为团队在消费级热潮到来之前就已经在这里工作了。
他们并没有在等 InstructGPT。这项工作从 GPT-3 的早期就开始了,那时几乎没有人在 API 上建立公司,Jasper.ai 是少数几家之一,也几乎没有人用这个模型来驱动自动化、连接自定义数据和外部工具。LangChain 这样的开源项目刚开始展示演示。真正打动 Welsh 的论文是 LaMDA:给语言模型合适的提示词,教它去获取外部数据,就能跑起一个有价值的流程。当时关于这个主题的论文几乎没有。
是的,模型从 GPT-3 进步到了 GPT-3.5。但他认为,改变一切的是普及。同样的工作,从藏在 OpenAI 开发者网站后面的笨拙 playground,搬进了面向消费者的聊天框。他说,大部分 ChatGPT 的功能,在 GPT-3 的 playground 里本来就能做到,只是“远没有那么优雅、那么有用”。能力早已摆在桌面上,把终端用户体验调校到位的团队,引爆了这个市场。
一张二维地图,告诉你每个 AI 产品究竟处在哪里
Labenz 一直把 AI 的使用分成两种模式:副驾驶模式和委派模式。在副驾驶模式下,你仍然是驾驶者:模型起草、回答,或者随叫随到地做点小分析。委派则是切出一整项工作,然后交出去。你不用亲自设计系统,只要让模型自己去弄清楚该按哪些按钮。他开始听到第二种模式被称为流程自动化,而智能体就是那座桥梁:人可以继续坐在驾驶座上,同时把各个独立的工作块交出去。
Welsh 把这张草图升级成了一张平面图。一根轴是系统与人同步运行,还是发出即不管的自主运行;另一根轴是它解释和综合自然语言,还是自动化一个流程。早期的应用扎堆在“语言输入、语言输出”的象限里。Jasper 是典型例子:你描述一款产品或一篇博客文章,它就写出营销文案。这就是“副驾驶加语言”的象限。
在自动化的那一端,你开始把语言模型当作一台可以用英语编程的计算机,它不仅能处理人类的文字,还能对 JSON 对象、电子表格或 XML 文档做丰富的符号处理。这张平面图上几乎每个点都有用例。Fixie 瞄准的是与 Jasper 相对的那个角落:更强的自主性、更多的流程,而且不一定是实时对话。Labenz 说,这是节目里最好的问答之一。他之后还会加上第三根轴,并且一再回到这个问题上:智能体存活多久,从一次性搜索,到一个能记住整整一天的伙伴。
最先落地的工作是写作、分拣,以及那七成推销邮件
失业是房间里的大象,Welsh 并没有回避。大多数时候,他不认为 AI 自动化会让人失业;在某些情况下,靠手工完成的工作会变得过时。他想到的一张黑白老照片,是一间坐满会计的屋子,大家伏在账本和机械计算器上,做的事情,如今一张电子表格一天就能做完。问题在于,哪些任务看起来像那本账本,而它们又会多快到来。
Labenz 是 Athena 的顾问,这家公司在菲律宾雇用高管助理(EA),约有一千名活跃的 EA,他们一对一服务客户,客户多数在美国。他们内部把代写邮件称为“预起草”,并围绕它建立了培训。他对公司使命的表述是:成为全球最擅长采用 AI 工具的 EA 公司,并以“请替我把这份工作做了吧”为目标。Welsh 通过一家名叫 Double 的公司使用助理,也看到了同样的分野。一边是写作内容:回复、排程请求、一份通讯,对于英语非母语者来说,这一块尤其还有很大空间。另一边则是机械化的流程。
具体的例子就是他自己的收件箱。作为 CEO,他收到的邮件中大约有 70% 是有人想向他推销咨询、猎头、新的银行账户,或者别的什么他并不需要的东西。他发现,花一分钟礼貌地拒绝,比无视这封邮件、再承受对方自动化系统发出的五封、十封、二十封跟进要轻松得多。难点在于,除非坐下来读一读,否则你无法判断某封邮件属不属于那一堆。如今,他的 EA 在做这种分拣。他说,这是一项费力的工作,而 AI 本应已经能够接手了。
模型的能力已经足够。它们缺的是伸进工作所在系统的“附肢”:收件箱、日历、API。Labenz 补充了一个来自他自己作为 Athena 客户时的、用户那一侧的问题。日常的日程安排委派得很干净;邮件草稿却始终达不到要求。文字本身没有问题,只是那不是他会说的方式。这最后一公里的语气,是人与模型都必须跨过去的鸿沟。
信任以智能体为单位,而记忆是一种可以被投毒的资源
Labenz 早就在用 Fixie 的预览版。他愿意授权官方的日历智能体访问他的日历,但不会授权一个黑客松用户做的 Gmail 助理。这就是信任模型的缩影:人们会为每个智能体、每项权限在心里记一本账。Welsh 明确表示,目前的预览版是一片自由市场,适合用来发掘用例,却不适合企业。公司不会把某个陌生人放到互联网上的自然语言智能体,接进企业内网。大多数公司会自己做集成,因为它们需要知道数据流向哪里。这种判断本身并不新鲜。人们早就用同样的标准看待 Zoom、谷歌日历,以及那些能看到你云端硬盘(Drive)的 Slack 应用。
新的问题在于一条查询的路径。设想一个智能体吸收了一整个内部 Notion 工作区,里面全是专有页面,然后回答“这个项目的最新进展是什么?”这条查询必须先路由到一个语言模型:哪个模型,由谁托管,还有谁能看到它。接着它会打到一个向量数据库,去拿到相关的片段:谁运营它,它存在哪里,你要怎么删除它。对话历史也会落到某个地方。Fixie 主要调用 OpenAI,也可以选 Anthropic;Pinecone 这样的外部存储,则是软件供应链中的又一家供应商。Welsh 说,最大的缺口是有没有一个足够好、可以部署在防火墙之后的模型。Azure 的 OpenAI 服务帮助了一些买家。节目录制那一周,RedPajama 和 Stability AI 刚各自推出了一个开源项目,他预计还会有一波接一波的开源模型涌来,让私有部署成为现实。
模型本身也是一个攻击面。提示词注入还没有解决;人们会像以前堆砌关键词骗搜索引擎那样,把指令藏进 HTML 里,而“互联网至今仍未被击败”。Welsh 的第一个看法是,即使对绝对安全的信心很低,仍然有大量价值可以获取,因为很多工作本来就有人在环中。一封草稿邮件在发出前由人过目一遍,本身就是一道自然的减速带。他的第二个看法是模型之外的软件。他提到 Guardrails(护栏),这是前苹果工程师 Shreya Rajpal 做的一个开源项目:你写一份规格,比如天气智能体必须谈论天气,温度必须在合理范围内,然后用它来检查每一条回复。它不是万能药。更进一步的想法,是训练一些小而便宜的模型,它们唯一的工作,就是给另一个模型的输出打分,看它是否符合规格。Labenz 从中听出了 Eric Drexler 的全面 AI 服务、Emad Mostaque 的“百万个小模型”、Constitutional AI 的影子,甚至还猜测 GPT-4 内部可能已经在做某种语义校验。
记忆是另一根带电的线。Fixie 使用的是会话:用户与任意多个智能体之间的一份只追加的对话日志。你让它为某个 GitHub 仓库的前十名提交者画一张饼图,然后说“改成柱状图”,会话会补上其余的部分。今天的会话大多是临时性的;永久会话在技术上并不难,大致就是 AutoGPT 和 BabyAGI 对历史记录的处理方式。但大多数企业场景并不需要它。只要赢下一次客服通话,你就已经算赢了。隐私上的失败模式,是你在 CNN 上点过一次的鞋子广告,三个星期都跟着你。永久记忆可能会被无关的内容污染,智能体于是偏离方向。Welsh 自己的土办法,是用两个 Chrome 配置文件,一个工作,一个个人,井水不犯河水。在平台层面,记忆是显式的,智能体有意地存下某个事实,而且必须按终端用户分段,这样客服智能体在处理 A 的工单时,就不会提到 B 的订单。
终局是端侧状态、数据清算所和一只耳机
六个月后、两年后,坐在电脑前会是什么样子?Welsh 提到两款早期产品:Ember 是嵌入桌面的自然语言智能体,MultiOn 则嵌入浏览器。质的转变在于,这些东西不再等待快捷键,转而开始观察发生的一切。他开玩笑说,他的 MacBook Air 就是 Fixie 本身:邮件、Zoom、文档、代码,整家公司都装在这一台小机器里。智能体没有理由不掌握他工作生活的完整状态,他私人生活的大部分也一样。在一个已经知道你要应付什么事的系统面前,Siri 的提醒只是个玩具。
三块拼图需要凑到一起。第一,流畅的用户体验;ChatGPT 证明了这一点,网页也证明了这一点。他指出,超文本在网页之前就已存在,那是一个叫 Gopher 的系统,而且糟糕透顶。概念上是同一回事,只是呈现得很差。第二,一个你愿意分享的个人信息清算所。浏览历史、日历、邮件、短信和 Twitter 目前分散在各自的孤岛里,而一个应该帮你忙的智能体,需要拥有和你一样的访问权限。第三,透明与控制:用户必须看得见授权、信得过它,并且能够撤销。他说,理想情况下,这套栈应该是个人化的,在你自己的设备上运行,因为人们不会乐意把每一个数字行为都交给谷歌或 Facebook,哪怕他们其实已经在不知不觉中这么做了。
他以前在 Chrome 团队工作过。Chrome 默认可以追踪你访问的每一个网站、点过的每一个链接;大多数人从不去看那个藏起来的历史记录标签页,所以也从来感觉不到监控。Labenz 抛出一个他自己也放不下的半成品想法:自带嵌入(bring your own embeddings),这样应用获得的是语义索引,原始数据永远不离开设备。Welsh 很喜欢,觉得这有点像联邦学习的远亲。如今,嵌入相当容易被反推出来,不过也有研究探索单向变换,它仍然允许最近邻搜索。他并不认为世界会等着这些问题解决。早期的网络没有 HTTPS,所有东西都以明文运行了多年,即便 SSL 问世之后,网站也很慢才采用。如果人们觉得能得到价值,就会乐于把敏感数据交给未来的 Facebook 和谷歌。
Welsh 也曾在苹果工作,苹果则是另一种押注:个人数据应当留在设备上,处理也应当在设备上完成,而且公司不试图从这些数据里挖掘广告价值。它在广告定向上有所收敛。他仍然认为,世界最终会走向那里,尤其是等芯片让端侧推理真正可行之后。至于形态,他并不指望 Apple Glass。他认为,它更像电影《她》(Her):一只可以跟它对话的耳机,而你已经随身带着的手机充当屏幕。在谷歌时,他是少数在真实世界中亲自自用(dogfooding)谷歌眼镜的人之一;它从未流行起来,很大程度上是因为脸上戴着摄像头在社交上不被接受。耳机是隐形的。文档和大屏幕仍然需要文字。在外面的世界,他预计会火起来的,是耳机加手机的组合。
第二次信息革命,以及一个不再知道 A 意味着什么的学校体系
Labenz 以希望与恐惧收尾。Welsh 的希望几乎是认真的。今天,要充分利用一台电脑,仍然意味着加入“一个懂得写代码的精英祭司阶层”,或者至少得知道如何把复杂的软件掰成你要的样子。数字素养运动一直在试图让机器变得更易用。AI 不只是一个更友好的界面,它还带来了推理与任务执行的能力。把它交到每个人手中,我们就不再拥有只有特权者、富人和受过良好教育的人才能使用机器的世界。他认为,这是第二次信息革命。
担忧则更贴近家庭。他想到自己的孩子,也想到旧的学习方式和评分方式瓦解的那个世界。如果你不再因为文章写得好而被评价,或者因为能为作业做出巧妙的程序而被评价,那么课程还是什么?谁能拿到 A、B、C?他指出,这些评分结构本来就算不上衡量智力的干净标尺。它们衡量的是别的东西,只是那些东西恰好容易打分。有了 AI,世界的组织规则就必须重写,而没人知道新规则是什么。他自己的态度是谨慎的乐观,同时对这次重写会是什么样子,怀有真实的不安。
同频道的其他文章
1:25:56EN → 简体中文
2:17:48EN → 简体中文
2:00:51EN → 简体中文
1:26:46EN → 简体中文
1:10:12EN → 简体中文
1:30:54EN → 简体中文