一个智能体（Agent）发了五条推文，5000 人没有一个察觉

2024 年 1 月，Cognitive Revolution 节目主持人 Nathan Labenz 做了一件有点冒失的事：他把自己的推特账号交给了 MultiOn，这是 Div Garg 公司的网页智能体。提示词写得很具体：先搜索最近的十条推文并记住它们，然后从最多三个信息源中搜罗 AI 新闻，跳过无聊的内容和已经发过的内容，最后写不超过五条简短、有信息量的推文。结果奏效了。Labenz 认为这些推文的水准低于他平时的标准，但看到它们的 5000 人里，没有一人质疑过出处。Garg 向任何愿意用同样提示词试一试的人开放了即时测试资格；他的推特用户名是 divgarg9。

这是 Garg 第二次做客这档节目。他第一次来是在 2023 年 7 月，那时 GPT-4 之后的智能体热潮正处于顶峰。此后，这个领域滑入了泡沫破裂后的低谷期，许多智能体创业公司（startup）都闷头研发，不再高调。MultiOn 则一直在公开迭代，持续发布视频，并缓慢扩大一个私测名单；Labenz 仍然把这个私测形容为，相对于真人助理而言依然十分有限，尽管它的成功越来越令人印象深刻。

被问到智能体的现状，Garg 不绕弯子。大家都为 GPT-4 疯狂炒作，但在他看来它没有那么厉害。它聊天能力不错，也许还能写点代码，这已经足够让人们开始谈论 AGI。真正到来的，是一种勉强能通过模糊版图灵测试的对话能力，外加一手把逻辑错误藏起来的本事。在代码上，这种失败的形式很熟悉：模型写出来的东西看上去很棒，接下来你就得花一整天去修 bug。他打了个比方：一篇论文看起来高深莫测，满纸数学公式，可一旦深究，却发现没有一条定理成立。深层的逻辑关联依然不存在。

Labenz 对编程的描绘则乐观得多。他把自己的方法称为“类比编程”：给模型一个来自文档或现成代码片段的例子，再给出目标，让它从例子走向目标。通常要迭代几轮，但这仍然算得上重大的解锁。两人其实是从相反的两侧，画出了同一条边界。模式匹配很强，严格推理却很弱。与此同时，让浏览器一路点到结账，这件事对大多数产品来说已经丢人丢了整整一年。

为什么在网站里点来点去，要比聊天难这么多？Garg 说，这是多种因素叠加的结果，首先要从训练说起。现有模型并没有在“在世界环境中操作”的过程里接受过训练，这里的环境包括代码、API 和网页，因此它们甚至无法表示自己所处的状态。它们会采取看起来很有意义的动作，却不理解环境中的边界情况。它们没有扎根于环境。

人在新网站上也有同样的问题。Garg 在 AWS 里进进出出一千多次，至今还是会找不到藏在下拉菜单里的某个设置。人是通过去做、失败、成功，并迅速消化这些经验来学习的，相当于边做边学的强化学习。智能体缺的正是这个循环。他认为，如果它们能够自动适应新网站、让自己扎根于环境，并且自己发现技巧，成功率就会从 90% 或 95% 提升到接近 100% 的水平。

接下来几个月，MultiOn 的研究将指向在线学习：直接在真实的互联网上训练智能体。他们不想“把互联网搞垮”，所以会先从研究这类可逆的工作入手，或者在智能体下单之前把它叫停。Garg 正与斯坦福大学 DPO 的第一作者以及其他学者合作，试图把二十年来始终留在实验室里的强化学习和模仿学习真正搬到工业界去跑。他认为，强化学习对聊天帮助不大，却会帮到智能体，因为智能体的工作本质上是在长流程中，不断在“探索”和“利用”之间循环。

Labenz 原以为到 2023 年底，智能体就会“开始好用”。但它们并没有做到，他有一个得意的理论：视觉能力，尤其是 GPT-4V，推出的速度比 2023 年 3 月发布时所暗示的要慢。Garg 为 2024 年定下的计划是双线并行：一边摘下那些眼下就能推动采用的低垂果实，一边继续啃硬骨头般的研究。公司的目标，是让智能体为日常生活创造价值，哪怕起步时只是把一件事做到极致。他希望培养一批新型研究者，从轨迹和过程的层面思考问题，而不是被困在有监督的下一个 Token 预测里。

OpenAI 不止一次讲过这个故事：几年前，他们尝试用强化学习训练网页智能体，但没有任何进展，因为成功的情况太少，根本形不成奖励信号。Labenz 问，Garg 现在是否正在从纯粹的语言模型技术栈，转向增加专门负责动作的模型。Garg 纠正说，Transformer 本身并没有什么内在的语言属性。他在斯坦福做过动作 Transformer 的研究，并希望全面转向多模态，直接优化整条轨迹，不再一步步只预测下一个 Token 和下一个状态。这需要新的损失函数，或许还要对整个过程做反向传播。

上一轮尝试缺的要素，正是语言模型本身。它们已经编码了太多通用知识，不可能从零开始，所以 MultiOn 从开源模型入手，把它们当作人类直觉的编码器，再在上面叠加各种能力。另一块缺失的拼图是：即使到现在，也没有人真正摸清如何把强化学习规模化。目前可行的配方是：先用一个不借助强化学习、就能做到约 90% 水平的模型，再在它上面叠加强化学习。从 0% 开始，就太不稳定了。DPO 是一类算法中的第一个，这类算法或许终于能为智能体解锁这套技术栈。

用户在两种失败模式之间来回摇摆。让 MultiOn 去谷歌上搜点东西，等于只是多加了一步；让它去完成一件分支繁多、逻辑复杂的任务，它就会崩掉。Garg 的定位则更窄。目前，这款产品在单个网站上表现非常出色：去亚马逊把五本书加入购物车，在 DoorDash 上点外卖，在 Instacart 上买做意大利面所需的食材，把一份保密协议（NDA）发到某个邮箱，预订下午 2 点的会议并邀请某人。在单一网站上完成简短、像待办清单一样的任务，上下文简短，一次性完成，这正是成功率最高的区间。

下一个难题是组合。查看日历上的下一个日程，如果是线下活动，就叫一辆 Uber；在 LinkedIn 上找到目标人物的资料，然后用 Gmail 给他们发冷邮件。难点在于把上下文从一个网站传递到另一个网站。之后是定时任务：每天早上自动下单买咖啡。Garg 为今年规划的阶梯是：先做小任务，再做长任务，然后是组合任务，最后是并行运行。用户应该主动从这个阶梯的最底层起步。

Labenz 注意到 MultiOn 最近的一次更新似乎能处理多得多的上下文，于是问他们怎么看待上下文窗口。Garg 的观察则恰恰相反。如果往上下文里塞进太多杂乱的东西，GPT-4 和 Claude 都会犯糊涂：注意力分散，开始出错。MultiOn 也遇到过同样的情况：笔记和用户的各种琐碎信息越多，动作选择就越差。把上下文压到最少，逻辑反而不知为何就恢复了。他说，上下文管理是目前他们手里最大的杠杆。

他们把检索和外部记忆结合起来，还借鉴了 MemGPT 的一个思路：让模型自己去取。MultiOn 有一种动作是存入记忆或从记忆中取回，这样智能体就能像 CPU 一样做出判断：与其点击或输入，不如先把当前内容存起来，或者在继续之前把需要的东西拉取出来。模型在管理自己的记忆。每个推理步骤中的平均提示词大小，不超过 5000 个 Token。

Sam Altman 刚刚在 Y Combinator 的一期学员面前说，要为 GPT-5 和早期 AGI 做好规划。这自然引出一个问题：当更好的模型到来时，这些脚手架会不会变得一文不值？Garg 的押注是：效率始终重要。如果你已经掌握了对环境最压缩、信息密度最高的表示，那么一个能力提升 10 倍的模型，对你的帮助也会大过对那些没做过这些工作的人。他们会沿着上下文、推理和速度三个维度去推演 GPT-5 的走向，然后据此设计系统，让这些提升相互叠加，而不是把整套技术栈抹掉。

用户实际运行的，是 MultiOn 基于开源架构、自行微调的模型，而不是从零训练的基础模型（foundation model）。规划环节仍然要用 GPT-4。系统的其余部分是即插即用的：换入 Claude 或新微调的模型，跑同一套测试，看分数就行。提示词最初是按照 OpenAI 的格式写的，后来被带进了训练好的模型中，Garg 说，这带来了还算不错的向后兼容性。他们已经从 GPT-4 身上榨出了差不多的极限，接下来要么换更好的模型，要么做更多微调。

互联网是动态变化的，所以静态基准很快就会失效。MultiOn 的很多评测来自真实世界，靠人工完成：它到底能不能真的叫到一辆 Uber，能不能真的把汉堡送到家。经不起这种检验的数字，只是摆设。他们也会跑自动化场景：对照一个已知来源搜集信息、找到指定尺码的鞋子、匹配一份复杂的 DoorDash 订单，并让另一个模型来判断最终状态是否正确。Labenz 很庆幸他们还没有“超脱到”不看原始日志的地步。这些行为仍然太古怪，没法完全标准化。

大多数智能体团队只追求成功率最大化，却不管成本和延迟。MultiOn 想做的是一款产品，所以响应速度是一等目标。智能体的价值主张在于替你做事；如果它只能和你做得一样好，速度也不比你快，那为什么要用它？他们以人的速度为基准，并要求至少快上 10 倍。压缩会带来一个正向循环：让智能体变快的那些技巧，同时也让它变得更准确。在与其他智能体的对比中，他们发现做得更快和做得更好，是同时出现的。

视觉是最明显的例子。GPT-4V 处理低分辨率图片时按 85 个 Token 计费，比把臃肿、自动生成的 HTML 塞进模型便宜一个数量级，也更接近页面本来的阅读方式。但它并没有闭合整个循环。看到“应该加入购物车”，并不能告诉你按钮的像素坐标，而当前的视觉模型也没有经过训练去输出这些坐标。你仍然需要分割（segmentation）或图像描述（captioning）技术，去提出策略可以点击的元素。MultiOn 把 HTML 中的语言元数据和图像混合使用，没有只依赖截图。

聊天框里的每一行，比如“我正在前往你的主页”“我在向下滚动，看更多推文”，都是一次推理步骤。简单任务通常不到 20 步；像推文研究提示词那样的信息搜集任务，可能要跑约 100 步。每步成本最高不超过 10 美分，所以十步大约是一美元。换成效率更高的托管模型后，他们能把每步成本降到两三美分，这样一百个子任务就落在 2 到 3 美元之间。相比之下，同样的工作交给时薪 15 美元或更高的人来做，要贵得多。规模上去之后，他们会大量使用缓存。

一个类似 Voyager 的技能库预计一个月左右上线：智能体可以复用这些已经学会的操作流程，而不必每次点击都重新计算。网页每天都在变，但变化没有那么大。Garg 说，不少正式运营的系统正在悄悄迁出 GPT-4，因为 Token 价格撑不起一款拥有数百万用户的消费级产品，而视觉的成本更高。Cursor 和可汗学院通过 OpenAI 的专属实例加上提示词缓存，在成本和延迟上获得了改善，而这类专属方案起步于六位数美元的年度承诺。MultiOn 或许也会用这种方案，但他们同时在边缘侧搭建与模型无关的自有缓存，这样就不会被某一家供应商绑死。

为什么 GPT-4 在 MMLU 上仍然领先七八个百分点？Garg 用做蛋糕来打比方：OpenAI 拥有全世界最好的厨师，也就是已经训练模型五到十年的人，此外还有私有的高质量数据，以及一整套不对外宣扬的人工标注流程。模型本质上是人类知识的提炼。谁能大规模地收集这些知识、过滤掉噪声，并在其上训练，谁就能胜出；光靠开源数据，已经做不出最好的模型了。在一场智能体黑客松上，Andrej Karpathy 说，OpenAI 多年来一直痴迷于语言模型本身，并没有真正去探索社区正在发明的那些脚手架。Garg 暗示，这正是 MultiOn 所占据的空白。

在他看来，接下来的突破来自架构层面。注意力的计算开销是二次方的，这就是为什么没人能在完整精度下真正用满 GPT-4 Turbo 的 128k 上下文窗口，用到的都是近似结果。线性或亚二次方的模型（比如 Mamba）会让长序列变得可用；如果能对 DNA 做注意力计算，对生物学还有额外的好处。他也喜欢扩散式的规划：先勾勒出接下来十步的大致轮廓，再沿着树状结构逐级细化，直到落地执行。这种方式更接近人写程序时的思路，与从左到右逐个 Token 生成的方式很不一样。今年晚些时候，他希望在一个聊天框后面放入多个并行的子智能体，像操作系统里的进程一样调度它们，但前提是单个智能体先成为可靠的执行者。否则，你会整天都在重新分派失败的任务。

按 Garg 的描绘，理想状态的路径是：先做一次性的短任务，再做长任务，然后是组合任务，最后是并行工作。界面应该走出笔记本电脑。MultiOn 已经有一个处于私测阶段、用于服务端编排的合作伙伴 API，用手机点一份汉堡，正是这样的场景。他想要一种类似 Siri 的循环：跟 AI 说一句话，事情就办成了，这是“Siri 从来没能成为的样子”。Chrome 扩展程序一直是个作弊码，因为它依附于用户已经登录的会话，绕开了浏览器自动化里最难的那部分。移动端没有这种便利。

他不愿透露具体机制，但他已经在用手机上的 MultiOn 操作自己的 LinkedIn 账号了。它不保存他的密码，却仍然能够完成足够好的身份验证，比如发送好友请求。他说，这条路径经过了几个月的验证，很快就会上线。Labenz 对 2024 年的设想是：一边走路，一边随时用语音委派任务，和 Div 建立联系、订晚餐，不必再把待办事项一路记在脑子里带回书桌前。Garg 认为，行政助理天然会成为早期的重度用户，因为他们本来就熟悉这些琐事，也无需别人推销。对于 2024 年，他把这款产品定位为补充，去做人们不想做、或者不擅长做的事。取代专业帮手的事，如果真会发生，也要到 2025 年或以后。近期的收益，是让请不起助理的人实现从零到一。

这种本能有个人根源。Garg 在印度长大，那里请一个廉价的家政帮手很常见，所以让某个人，或某个东西替你干家务，在他看来很自然。Labenz 把这一点比作 Google 的 Vivek Natarajan 所做的医疗模型工作，那项工作针对的是缺乏医生的地方。谈到就业，Garg 并不回避替代的问题。很多岗位之所以存在，只是因为技术还没到位。打字员本来就是一份没人愿意干的活；计算机终结了它，同时又制造出另一种形式的工作。“因为技术还没到位，我们才用人来顶替。”数字化的杂务也会走同样的路。管理、教学和编写智能体的新工作会冒出来，就像计算机科学在机器刚问世时，并不在任何人的清单上一样。

这款产品已经有一个“教我”模式：在浏览器里演示一遍任务，它就会变成训练数据，几乎不需要什么上手引导，因为大家都已经熟悉 Chrome。他们不会用付费用户已登录的账号来训练。Gmail 的自动补全把一个人的邮件泄露给另一个人，这是前车之鉴；《纽约时报》起诉的案子，则说明世界对训练数据已经不那么天真了。公开数据加上志愿测试者，是他们目前的组合。在收费方面，他们已经对部分 API 合作伙伴收费，并计划推出一个免费的消费级版本，以及 Pro 版。Labenz 的公司 Waymark 目前用一个笨拙的爬虫抓取小企业的首页，然后把文本灌进 GPT-3.5，结果被 Facebook 图标淹没了。Garg 的设想是：API 应该是一层构建在 Playwright 之上的无代码封装，输入一条英文指令，输出 JSON 或站内操作。

网站在适应吗？Garg 说，现在还为时尚早。在湾区内部，大家都知道；湾区之外，智能体几乎还没进入季度路线图。每天都有企业联系他，询问营销、外联、新手引导，以及界面糟糕的 CRM 流程，所以整体气氛仍然偏乐观。他预计会出现某些严重的坏事，也许是一种 AI 病毒，这正是 MultiOn 想成为那个网站愿意放行的智能体的原因。Labenz 一直在对一个通话智能体做红队测试（red-teaming）：让它扮成绑匪给他打电话，索要一百万美元。它毫无护栏地照办了。在公开点名开发者之前，他给了对方一个期限。他认为，这个行业要么自我约束，要么就会被监管。

MultiOn 已经做出了提示注入（prompt injection）检测器和分类器，尽管它们还没在真实环境中遇到过攻击。在模型提出浏览器动作之后、动作执行之前，有一道验证步骤会检查这些动作是否有害或出错，循环中又多了一次模型调用。他们可以按网站调整智能体的行为，立刻切断某种恶意模式，并像 OpenAI 修补 ChatGPT 越狱漏洞那样，在一天之内打上补丁。对其他人来说，Garg 给出的最低配置几乎有些乏味：在调用链里加入 OpenAI 那个便宜的公开内容审核 API，再添上几行禁止有害行为的提示词。Labenz 并不买账。他用于鱼叉式钓鱼的 GPT-4 红队测试提示词没有触发审核接口；而 Sander Schulhoff 主办的 HackAPrompt 竞赛有数千名参赛者，结果发现，一个聪明的攻击者通常能绕过那种写着“不要做坏事”的模板。

如果把人类视为 AGI v1，那么人类与 AI 之间最后一道差距，就在于规划。语言模型本质上是序列预测器。让它下棋并赢下来，它做不到，因为它守不住一个计划。Garg 预计今年会出现把蒙特卡洛树搜索和 AlphaGo 式规划器硬塞进大语言模型（LLM）的尝试。GPT-4 在聊天中，甚至在语音中，已经能骗过普通人；但它骗不了专家，专家会立刻听出幻觉。它学到的只是人类大脑的表层，还没有掌握深层的运作。他认为，去年 OpenAI 董事会的那场风波，就是一次预演：每一次技术革命都会把人分成加速派和想炸掉 GPU 集群的人，而随着系统逐渐逼近人类能力，这种摇摆只会越来越剧烈。