约束越多，智能体（Agent）越值得信任

Nathan Labenz 开场就提到，自 GPT-4 问世以来，“智能体”这个词的含义变得越来越模糊。AutoGPT 和 BabyAGI 这类项目描绘过这样的图景：你给模型一个宏大的目标，它就能自己规划、浏览网页、执行任务。一年半过去了，这条路还没走通，但也不能断言它永远走不通。与此同时，各家厂商都在有意无意地把这个词用得含糊。因此，他想请 Agent.ai 的工程负责人 Andrei Oprisan 说清楚，自己谈构建智能体时，究竟指的是什么。

Andrei 把这个问题看作既根本又暂时的。他说，现在还处在早期，这个定义大约每三到六个月就会变，六个月后他们还会再改。目前他采用的是一个克制的说法：一个能代表用户执行任务或做决定的半自主系统。这句话里最关键的是后半截的限制。他希望智能体只做非常小、非常具体、边界极其清晰的工作，第一波热潮里那种开放式的宏大目标，他并不打算沿用。

他描绘的未来图景里，知识工作者身边坐着的是几十个甚至上百个专门化的智能体。其中一个每天早上读邮件，按每天都在变化的偏好重新排序。另一个查看日历，告诉你要见的人是谁：这期播客要见的是 Nathan，Agent.ai 的战略会要见的是 Dharmesh，并且带上随着几周时间慢慢变化的背景信息。至于由谁来决定哪个智能体负责哪一块工作，这一层抽象可以以后再加。他警告说，把自主性吹得太过，即便不会让人彻底失望，也很可能滋生幻觉（hallucination）。

Nathan 画出了一条光谱。用他的话说，AI 圈子把这条光谱压扁成了一个非黑即白的二元对立。光谱一端的自主度为零，是完全确定性的工作流，根本不用模型，就是纯代码。另一端则是类似 AGI 的东西，被交代去网上赚钱，并相信它会带着现金回来。他认为，很多失败其实来自人们不清楚自己该站在光谱的哪个位置。他举了一位此前嘉宾的例子：这位嘉宾把一个 AI 销售开发代表（AI SDR）做成了大约 16 个步骤的流水线，每一步都是确定性的，从不让模型自己去选择分支。他说，这种设计已经能用。

Andrei 认为，业界还不能摆脱那种高度规定的风格。他说，从算法角度和语言模型的演进来看，要摆脱它还得再等好几代模型，他预计未来 6 到 24 个月里，大家都会待在这种模式里。他提到，当时即将推出的 ChatGPT 新模型，可能会在规划上有所变化，但他并没有按照差距已经填平来设计系统。他说，语言模型的规划能力相当差，帮用户看清不确定性在哪里的能力更差。它们总是自信地作答，却不知道自己应该有多大把握，也不知道什么时候该怀疑自己。

除了规划，还有两项能力同样缺失。一是可靠的域外检测：要能察觉营销任务悄悄变成了销售任务，或者工作已经超出了提示词（prompt）原本设计的领域。二是可靠的自我纠错，而这首先需要一个基准真值（ground truth），也就是说清楚正确答案到底长什么样，然后才能把系统拉回正轨。没有这一点，模型可能会朝一个方向跑五十步，还把这段弯路说成是成功。基准测试（benchmarking）是第四件不起眼却同样重要的事。同一个智能体，Nathan 和 Andrei 眼中的“真的很好”可能完全是主观的，所以系统需要让用户说出“我想要更多这种效果”，指出十个或五十个决策中究竟是哪一个造就了它，把它复现出来，并且要跑大约一百万次模拟，直到路径越来越接近能用数学语言描述的东西。

在他看来，规划、域外检测和自我纠错这三项能力，是在谈论任何接近自主的东西之前必须具备的。这方面的研究并不新鲜。Meta 首席 AI 科学家、前纽约大学教授 Yann LeCun 多年来一直在谈纠错和领域边界的问题，Andrei 记得，大约二十年前他还是那门课的学生。他自己的机器学习背景，是做可靠的自我纠错算法：先定义基准真值，然后在运行时对神经网络做“手术”，不必重新训练一个 GPT-4 级别的模型。在高度垂直的领域里，已经有了进展。但通用规划，要做到不塌缩成一个只有预设菜单的工作流构建器，依然非常困难。他很希望下一代模型能给他一个惊喜，不过他的做法是，假设这些缺口仍然存在。

Agent.ai 自己的智能体目录给出的教训很直接。他们做的智能体越多，就越发现规定得越细，智能体的表现越好，无论是在 NPS 调查里，还是在用户的具体反馈里，都是如此。旗舰案例是一个公司调研智能体：输入任何公司名称或域名，它就会返回一份完整报告，内容从创始故事、决策者邮箱，到 LinkedIn 和 X 上的流量，再到产品线、价格区间，以及如何切入这家客户的大致思路。这一个智能体就有大约 20 个部分、100 多个步骤，其中大部分是硬编码的。结构化输出让他们能给模型留出一点创造空间，同时又不失去量化、迭代和混用不同模型的能力。于是，用户就能更稳定地问出：最主要的三个竞争对手是谁，以及该怎样去竞争。

底层的产品策略，是一套所见即所得（WYSIWYG）的工作流工具包，加上会对接结构化输出的语言模型动作。专家可以拖拽搭建。其他人只需花三十秒描述任务，比如“读这期播客，总结其中的要点，重点关注我在意的话题”，再稍作调整，就能得到一个把这项具体任务做好的智能体。范围更宽、结构更松散的需求，失败得更频繁。这些失败本身就算是一种 MVP。Andrei 说，成熟的版本只有在系统能察觉自己已经离开原领域时，才能跨越领域：播客、YouTube 视频和邮件各不相同，提示词、少样本（few-shot）数据，以及那些能多换来五到十个百分点准确率的微调，也都各不相同。

Nathan 注意到，有一个地方，Agent.ai 已经比传统的无代码工具更信任模型。这类平台上的过滤和路由步骤，通常是精确匹配、包含判断或正则表达式。而在 Agent.ai 上，判断可以交给语言模型，对非结构化或半结构化的数据做出判断：符合这个大意就继续，符合那个大意就停止。Andrei 的建议是：对于复杂的 if-then-else，以及很快会支持的循环、重试、五十版广告文案、十封要做 A/B 测试的邮件，大语言模型其实非常擅长。人类并不擅长把流程可能走过的每一条路径都列举出来。哪怕只是两层嵌套、一个 while 循环、一个 for 循环，再加上几个哨兵词，每天泡在构建器里的专家，也很难把它们连成与自己脑中图景一致的样子。但他能在对话中把预期行为讲清楚，而模型做得比他还好。他们做过基准测试，这类逻辑确实如此。更深层的规划，仍然够不着。

如今网站上的大多数智能体仍然是手工搭建的：接收用户输入，抓取某个数据源，给模型写提示词，强制输出结构化对象，再把结果渲染出来。同一个 Smart Action Builder 也可以在聊天中驱动。你让它收集一个 YouTube 链接，它就会自动填好标题、变量名、要抓取多少个视频、目标是视频还是频道，以及哪些主题重要。内部基准测试显示，这种生成的合格率大约是 80%，还不足以大范围开放。下一步的抓手是模板。Agent.ai 原计划从九月开始，发布营销、销售和客户服务方面的示例智能体，有的封闭使用，有的开放给任何人复制：复制之后可以增加三个步骤、删掉两个，并通过邮件发送输出，不必只显示在页面上。Andrei 认为，有了成千上万个这样的模板作为基准真值，构建器的准确率可以达到 90% 以上。

更长远的愿景，是一个带有 App Store 式经济模型的市场。平台会保证分发渠道，比如他提到，一个智能体每月可以免费获得 100000 次曝光；同时设有审核流程，确保智能体做的事与宣传一致，不会偷偷拿走个人数据。定价仍在试验中：可能是固定收费，可能是按积分分成，可能是 99 美分的小额习惯订阅，可能是 5 美元的实用工具，也可能是类似 ChatGPT 的 20 美元套餐，附带你自己的数据和一个智能体库。有些智能体会设免费档，并配一个连接更昂贵数据源的专业档。他们目前有一个规模不大的构建者内测，还谈不上公测，计划先用几十个智能体给目录打底，然后交给市场机制去运转。就在那一周早些时候，他们的用户已经超过 40000，并且增长很快；几分钟之后，他又说这个项目才三到五个月大，用户接近 50000。你不需要是开发者。用他的话说，“公民 AI 构建者”（citizen AI builders）只要像平时做表单那样描述自己的需求，或者从示例中挑选，只要愿意快速试错，几周内就能从零到专家。

Nathan 的口头禅是复制，然后定制。他在已发布的智能体上看到 Clone 按钮时，就认出了同一种理念。网站页眉已经把 Agent Network 和 Human Network 并排放在一起。Andrei 希望你像添加同事一样，把智能体加入团队：一支社交媒体小组，一支营销小组，或者一组专门查找 MBA 案例的专家。如果工作仍然是人机混合的，智能体就会成为其中的一部分。而一个职业社交网络，正是你查看智能体能做什么、雇主如何评价它、它有没有背书或类似认证的途径。单点解决方案会继续存在。但他不认为它们能赢得长期的采用，因为一旦底层模型开始跨领域融合，就总得有人在上层做协调。

工作流构建器是他们运行的、对性能最敏感的模型，所以 Nathan 追问，到底是什么真正拉动了指标：明确的指令、少样本示例、RAG，还是微调。Andrei 说，RAG 的效果出人意料地好。他们先写了几百个示例，从非常简单到非常复杂，组成一个模板库，然后做了一个大约 100 到 200 行代码的基准测试工具：这是目标，这是我们会选的智能体，这是为什么这个需求需要 YouTube 数据和 Google 新闻。同样的任务如果用微调来做，误报会更多。对于一组相当可预测的意图，在较大的模型上做 RAG 效果更好。他很谨慎，不愿把结论推广到所有情况。换了数据，答案就会变。有一件事不能省：一个评估闭环，即使答案看起来是对的，它也要能告诉你，如果答案是错的，你能不能察觉。要起步，一次额外的模型调用、几个好的和坏的示例，再加上一个取值为“好”“坏”或“不知道”的 JSON 枚举，就已经足够了。前提是你要持续照看 temperature、上下文和示例，而且不能把自己绑定在一个会悄悄变化的浮动“GPT-4 latest”检查点上。

RAG 仍有一些很容易出问题的旋钮。文档大小和重叠度都需要调，分块窗口太小、重叠太少，会引发很多问题。他们的文档之所以定义得很清楚，是因为对象本身就定义得很清楚：一个智能体平均有 6 个步骤，每个步骤是一个带 6 个属性的 JSON 对象，因此可以把分块大小设到刚刚好够用。真正拿去嵌入的，是一段自然语言描述，细化到每个字段，包括前提条件：这一步需要 YouTube 链接；如果没有，可以去网上搜索，或者查找频道。检索命中的是段落，段落再指向结构化的配置。Nathan 把这层意思概括为：除非你准备好训练自己的嵌入模型，否则别把那一大坨 API 数据（blob）拿去嵌入。Andrei 表示同意，并把这种映射视为数据预处理。领域专用词汇可以为定制嵌入模型提供理由，但只提升 2% 往往不值得为此增加复杂度。对于他们的大多数场景，只要在放得下的范围内尽量附上上下文，写一个量身定制的提示词就够用了，直到内容量大到放不下为止。

压缩是一个令人愉快的意外。让模型先压缩文档，每个分块都附上一段定义，那么一个 200k Token 的 Claude 上下文窗口，就能以同样的速度承载相当于大约 300 万 Token 的内容。现在已经有相关论文，小模型也能玩同样的把戏。他们最初的构建器实验用的是小型端侧（on-device）模型，以便让测试答案更稳定；后来为了个性化，又回到 Claude 更大的上下文窗口上，并重新调整提示词和 RAG，因为同一套配方换到别处并不通用。Andrei 说，能在设备上运行的东西，对其中 99% 的评估场景来说大概就已经够用。这个项目才几个月大。用户不应该为了得到一个好用的智能体，去试十二个模型，还得泡在论文里。

Nathan 平时的建议，恰好与“本地优先”的循环相反：一开始先不管成本，直接用最顶尖的模型把任务跑通，然后再去找效率。Andrei 同意这个起点。如果连 GPT-4、Claude 或 Gemini 都给不出好答案，那你很可能是提示词写错了，或者上下文窗口里放的数据不对。在受监管的场景里，自己托管模型是值得的；即便如此，波士顿的一些医院（其中包括他的一位 MBA 同学）也在使用 ChatGPT，依据的是企业协议，协议中承诺数据不会被用于训练。成本还会继续下降，他预计还会再降一个数量级。他说，在你决定需要定制之前，一定要想清楚。

本地模型以另一种方式发挥作用。他在自己的个人文档和图片上运行一个本地嵌入模型，这样财务记录和报税文件就不必经过网络传输。小型开源权重（open weights）可以在你自己掌控的机器上打补丁、做微调，而 GPT-4 的参数，你无法这样处理。在他需要调整的一个文档定义任务上，本地微调的效果超过了 GPT-3.5；后来 GPT-4 的云端微调功能上线，又把本地模型“远远甩在身后”。当时 Claude 仍然没有微调功能。日常工作中，他在本地运行的 Phi 能拿到和 GPT-4 一样好的结果；在某些规划基准上，Phi 能拿到五十多分（依然低得可怜），而 Gemini 只有二十到三十分。他认为，小网络里妨碍你真正想让模型做事的预训练数据更少。但对于 99% 的人来说，这一整套的复杂度不值得。Apple Intelligence 的端侧能力，加上连苹果自己也读不了的私有云，是他预计会普及开来的混合方案。

说到微调本身，Nathan 发现，展示他希望系统如何推理的思维链（chain-of-thought）轨迹，价值非常大。Andrei 把它与多步工具调用中的检索链（chain-of-retrieval）区分开来；他觉得后者更难做，对基础设施的要求也更高。就思维链而言，数据不只是输出结果，还包括实习生水平的中间步骤，经过精心挑选，然后对这些标注做有监督的微调。他写提示词时，会让模型把问题拆成步骤，再不断演化这个提示词，以完善示例；在数学和法律推理中，准确率的提升是可以衡量的。他喜欢的一个元技巧，是追问任务还能怎样进一步拆解，以及他们还有哪些决策点没有讨论过。不止一次，这个问题让他们发现，自己在不知不觉中把两个本该拆开的概念合在了一起，拆开之后准确率就上去了。Nathan 在 Waymark（一家为小企业生成营销视频的公司）积累的种子集经验也与此相通：他们原以为需要 10000 条金标准示例，后来降到 1000 条，又发现 100 条就已经效果不错，现在他会告诉别人，先凑到 10 条就开始。互联网上有输入和输出，但它们之间的思考过程从来没有被写下来。

Nathan 想微调一个能像他一样写作的模型，而关于 LoRA 式微调的研究，总是把这个问题拆成两半。风格可以教，事实却教不会：模型不会稳定地学会他叫 Nathan Labenz。因此，事实只能作为上下文输入，这让他不得不把五年的 Gmail 和 Slack 拿出来，总量达数千万 Token。这些内容，他愿意交给 OpenAI、Anthropic 或 Google，却不愿交给他上周才偶然找到的一家创业公司。他正在把这段历史压缩到原来的 1% 左右，同时仍把它视为整个行业尚未解决的难题。智能体需要这种独特的个人上下文。几乎没有人有一条安全的管道来输送它。

Andrei 说，这正是他们在努力的方向，所以连接器目前还没有发布。Google 的集成正在推进：先是日历和 Drive，之后会加入 Gmail，这样你就能像 HubSpot 管理客户关系那样，跨这些数据源进行对话。短期内，实用的办法是企业协议，以及各大实验室已经提供的向量存储；此外还有一个代理，方便高级用户把 Agent.ai 指向他们自己的、兼容 OpenAI 的 URL。这个 URL 可以是桌子底下的一台机器、一个私有数据中心，也可以是在本地为数百万份财务文件运行的嵌入：请求被转发，而不是被导入。实时索引、过期策略，以及面向制药级别规模语料库的领域专用检索，会迅速变得复杂。他说，对于大多数白领工作来说，一个推荐的分块大小、一个重叠量、一个检索数量，再加上几个连接器，基本就是你所需要的全部。

更远的赌注是对向量存储做同态加密（homomorphic encryption）：把向量加密，对密文进行查询，只有用户的私钥能解开结果，这样平台就能对它读不了的数据做运算。目前还没有人把这种东西做成可商用、企业级的产品，这也是它难的原因，但他认为各个零部件已经齐备。据专利和论文披露，苹果的 Private Cloud Compute 就是同一思路的消费级版本：语料库留在端侧的隔离区里，只发送加密后的碎片，结果只有用户自己能看到。Nathan 指出，普通的嵌入很容易被反推，因此，一种既能保留语义运算、又不可逆的方案，就能解锁大量目前只能留在线下的上下文。Andrei 给出的建议，比任何密码学手段都古老：确保你在付费。如果你不愿为带有隐私保障的 API 访问付 20、30 或 100 美元，那你就是产品，一家免费的创业公司会把你交出的东西变现。他预计，在未来半年到一年内，基于密钥的方案会成为每个向量存储的行业标准。

Nathan 指出，Agent.ai 处在一个尴尬的中间状态：在一定程度上，一切都是免费的，因为 Dharmesh Shah 的支持意味着，即使产品突然爆红，他们也不会个人破产。目前有积分这种东西，每次运行智能体扣一点，用完了还可以再领。Andrei 知道，一旦用户开始在一次运行中塞进数万 Token 的上下文，成本就不是这么算的了。今年他们很可能会增加购买更多 Token 的方式，并与构建者端的激励措施配合推出。在那之前，目标是获得采用，并摸清真正有效的做法。他们认为，有一段时间，他们可以支撑数十万乃至数百万用户、几乎不限量地使用。但如果是你自己来做，用户数达到 10000 时，这就已经很烧钱了。这也是他预计 AI 工具、智能体和市场之间会出现整合的原因之一：大多数玩家还没有想清楚商业模式。

构建者这一侧，是他们最想做对的部分。激励措施可能包括收购或“收购式招聘”（acqui-hiring）五个、十个或二十个小型智能体工作室，用来给目录打底，并混合使用固定费用与按用量计费。用户可能每月花 99 美分买一个有用的小东西，或者花 5 美元，或者花 20 美元，通过平台以自己的数据享受不限量的 ChatGPT 级别服务。积分会按比例分成给创作者，创作者还能获得相应工具，对更高的档位收费。他们还会继续为营销、销售和客户服务类智能体打底，这些人设与 HubSpot 相关；他们当前也没有在融资，这让他们能专注于产品。他们的目标客户不包括财富 500 强。访谈后面，Andrei 说得很明确：他们专注于个体创业者，以及从零到大约 100 人规模的公司。如果你是一家大企业，想用 Agent.ai，那它不适合你。

同样的“选对工具、不要过度复杂化、尽快上线”哲学，也体现在技术栈上。Andrei 和 Nathan 一样喜欢 Cursor，同时也用 Copilot，还有一些自制的辅助工具。后端是跑在 AWS 上、自动扩缩容的 Python；前端是 Next.js、React 和 TypeScript；关系型数据库用的是 Postgres，再加一些队列。他们每天会上线几十次。公司目前大约 12 或 13 人；三四个月前，团队只有 Andrei、Dharmesh，以及一位做前端的自由职业者。在向量存储上，他们把各种方案都试了一遍。如今带 pgvector 的 Postgres，速度已经和 Qdrant 或 Pinecone 一样快，在某些基准测试中甚至更快。但他们仍然在用 Pinecone：开箱即用的调试和搜索工具更完善，几乎可以无限扩展，而且对于几百万到几千万条记录，每月只需几十美元。当等待时间主要耗在一次语言模型往返上时，15 毫秒和 10 毫秒的差别无关紧要。初始化存储、查询和写入，只需在一个连接字符串上写大约十行代码。与其去排查究竟是哪个副本被某个特定实现的 bug 打满，他宁可付这笔账。

Nathan 把 Agent Network 和 Human Network 并列放在同等醒目的位置，看作一种委婉的说法，意思是机器人要来抢饭碗了，他希望业界能更早、更坦诚地承认这一点。他很欣赏 Klarna 的 CEO，后者说，一个客服机器人做的是 700 人的工作，而该领域的人员数量实际上已经下降了。Andrei 不接受这个框架。在他看来，AI 智能体就是一类高效、专门化的半自主应用，仅此而已。它们并不是来抢谁饭碗的，只是帮助人更好、更快、更便宜地完成某些工作中的某些部分。人依然在环中，决定什么算好、什么算坏，选择标准是什么，以及智能体应该关注哪些更广的上下文。他打了个比方：ATM 机和银行柜员。柜员并没有消失，而是转向了客户关系。他其实认为，人需要做的工作会更多，而不是更少，只是层次更高：对数据和上下文要有更精细的理解，要更坦率地讨论每个智能体都带有的偏见，要有更多文档和约束，好让工作完成得更快。

他放在核心位置的一句话是：在这些场景的大多数里，人加智能体会胜过单独的智能体或单独的人，而工作本身也应该变得更有趣。没有人真想整天把数据从一个低效的企业系统复制到另一个系统里，好让自己在剩下的半小时里发挥创造力。监管则是他不打算轻描淡写的部分。技术发展的速度超过了任何法规，这有点让人不安；平台开发者必须拒绝一些付费用例，而不是放任选举季可能冒出来的每一种仿冒和语音克隆。既不能把技术阉割掉，也不能把进步的摇篮推到别处去，这种护栏很难把握平衡。至于更深层的社会问题，他不装作一家创业公司能回答。像全民基本收入这样的方案，或者类似《星际迷航》的、金钱不再那么重要的社会，大概都在考虑之列，但这需要政府出手，光靠私人的美德是不够的。

Nathan 的最后一个设想是“智能体觉醒”：模型能力大约每两年就跳一次，现在每个人都在搭脚手架来弥补短板，而一次新的发布，就可能让半自主系统一下子从“差不多能用”变成“真能用”。是否应该限制智能体的速度，让它们以人类的节奏行动？是否应该要求它们标明身份，比如用密码学的方式证明出处？Andrei 泼了一盆冷水。我们几十年来一直都“差不多到了”。哪怕 ChatGPT 6 明天就问世，跳过 5，能做规划、能执行，智能水平还高过人类，你依然得把它集成进去、改造工作流，还得定义基准真值。更近的失败模式，是模型在胡编乱造上变得更好，好到人们分不出真假。便宜到足以装上“大脑”的机器人，以及能在雨雪中行驶的汽车，还要更远。他给出的实际做法是：列出一天的工作，问其中哪 80% 可以外包，并留意哪些任务能被拆成几个步骤，并且有清晰的完成标准。这些工作，今天的工具就能接手。剩下的，很可能才是有价值的部分。

最后说到个人动机。Andrei 有一个三岁的儿子，他常常想，那个孩子将来会生活在怎样的世界里：上学、找第一份工作，像小孩对 Alexa 那样随口和某个东西聊天。他想推出的工具，是任何小企业主都能使用的，而且差不多能自己动手打造，不需要成为财富 500 强。反馈里已经有一些他自己都想不到的故事，比如有人在搭建食谱智能体，好让自己吃得更健康。他说，人的创造力某种程度上是没有边界的。团队目前还是十二人左右，他们在市场拓展、营销、销售和工程方面一直在招人。网站就是 agent.ai。Nathan 评价说，就这个机会而言，这个域名很难被超越。