别把工具做成智能体：Flo Crivello 谈生产级智能体真正需要什么

Nathan Labenz 想在 Imagine AI Live 的演讲前，听一个没有废话的智能体判断，于是他约了 Flo Crivello。这是 Crivello 第六次做客 The Cognitive Revolution，也是他第二次深入聊 Lindy，这是他负责运营的智能体平台。Labenz 自己的框架点出了其中的张力：从 2023 年 GPT-4 发布前后的 BabyAGI 和 Auto-GPT 演示，走到今天，大多数生产环境里的“智能体”其实是智能工作流：在人类设计的控制流之内，完成需要流体智力的任务。开放式、可自行选择路径的智能体开始能用了，比如 OpenAI 的 Operator、Claude Code、表格里的 Gemini，但也只是开始。

被问到定义时，Crivello 说，定义其实没那么重要：见到了你就知道。如果非要说，他喜欢 Harrison Chase 的版本：智能体是这样一种软件，其控制流至少有一部分由 LLM 定义。这样一来，智能体性就成了一个光谱。模型掌握的流程越多，系统就越具智能体性，就好比有些员工在严格的轨道里干活，CEO 则几乎没有轨道。这个定义更接近 Dharmesh Shah 所说的“任何能帮你把事情办成的东西”，而不是 Amjad Masad 的“当它自己决定何时停止，它才算智能体”。Labenz 担心的是，那些不深入一线的人，脑子里仍然是 ChaosGPT 的画面：一句指令，完全自主，做完了再回来汇报。他认为，这种想象会让人对什么是现实的、光是把上下文拼装起来就要花多少功夫，产生误判。

Crivello 不会说 Lindy 主宰了他的生活，但他确实在运行几个非常开放式的智能体。光谱的那一端，是让模型来做大量决定。产品的第一版就住在那一端，它高估了模型的能力。此后，Lindy 退了一步：现在你可以强制执行一组确定性的步骤。比如一个客服智能体，在动 Intercom 或 Zendesk 工单之前，必须先查 Notion 知识库，这一步不应该全靠恳求那位“LLM 大神”记得去查，用他的话说。这个检查应该硬编码进认知结构里。护栏收得多紧，现在变成了一个产品选择。

他的会议安排器仍然是纯粹的智能体：一大段关于规则和偏好的提示词，在这些边界之内，它基本想干什么就干什么。另一个 Lindy 每周一醒来，去找 Dwarkesh Patel、Lenny Rachitsky 和 The Cognitive Revolution 的新一期节目，做成摘要，然后给他发消息提醒。这个必须是开放式的，因为没有唯一的信息源：YouTube、iTunes，自己去想办法。Labenz 原以为 Lindy 的“搜索网页”原语本身可能就是一个小型智能体。Crivello 直接否定了这一点：那就是一次谷歌搜索。有智能体，也有智能体所用的工具，两者是分开的。

在早期摸索阶段，他们试过智能体化的工具：每个动作背后都挂一个子智能体，结果发现这是个相当糟糕的主意。从经验上看，效果并不好。它还让系统难以推理：一个智能体已经很难，两个必须相互对接的智能体就更难。他说，要划清界线：工具不应该是智能体化的。

这一立场并不意味着他看衰谷歌的 A2A、MCP，或者“智能 MCP”这类模式，比如让编程智能体去调用一个顺序思考服务器。他对多智能体系统一直很兴奋，只是它们还年轻得多。模型还没准备好，工具链也没准备好。要让智能体之间进行智能通信，大概需要类似物流行业那种老牌的 EDI 协议：采购订单和运输异常的正式握手流程，实体世界至今仍靠它运转。现在还早，近到值得琢磨，远到不值得拿产品去押注。

他在生产环境里已经在用一个小型多智能体配置。Lindy 参加每一场会议并做笔记。候选人面试结束、明显通过时，他会等对方离开，然后让做笔记的 Lindy 标记“通过”。那个 Lindy 会给他的“幕僚长”Lindy 发消息，后者知道“通过”是什么意思：不要马上发邮件，等几天；如果是猎头牵的线，也要通知对方。这个例子听起来像玩具，但他确实每周都在跑。委派本身只是多了一步。无论是单个还是多个智能体，光是编排本身就已经很棘手。

Labenz 提到了 METR 的图表：在 50% 成功率下，历史上的任务时长大约每七个月翻一番，在新的阶段可能是四个月。Crivello 是个“非常相信 AGI”的人，但他仍然认为，在数据点这么少的对数图上画一条直线，是很危险的。摩尔定律和规模定律背后，有几十年、跨越五到十个数量级的数据；智能体没有。他不否认过去两年的进步：GPT-3.5 非常笨，GPT-4 改变了整个公司，Claude 3.7 和 Gemini 2.5 Pro 如今又快、又聪明、又便宜，还有很长的上下文。他对接下来两年也有很高的期待。但他不愿在指数增长的说法上背书。

新用户如果想要值得信赖的价值，应该瞄准哪里？Crivello 把任务时长重新表述为模糊度。如果你能把工作写成一串步骤，它就是一个低模糊度的工作流，而这也意味着它是一堆短任务。很多真实工作，其实是一连串两分钟左右的步骤，而不是一个 30 秒的原子任务。凡是你能交给一个手里拿着一份标准作业流程 Google Doc 的实习生去做的事，都在可做范围之内。文档有多长几乎不重要。重要的是最难的那一步，而即便是这一步，也没有人们想的那么关键，因为搭建者有人在回路中。在有风险的步骤上打开确认，就等于把自己插进了流程。

这些确认点击不只是刹车。Lindy 把它们当作来自人类反馈的上下文内强化：她从纠正中学习，而且学得很快。Labenz 听到这里很兴奋，因为在他的经验里，让人把自己钉在椅子上，老老实实写出金标准样例，几乎是不可能的。清晰的指令大多数人还能敲出来，少样本集合通常只存在于某个人的脑子里。Crivello 说，通过复查真实运行来汇编这些样例，仍然是头号的性能驱动因素，远比指令有效。

微调是下一个显而易见的问题。他对此兴趣不大。模型已经好到这种程度：以前为智能体行为做微调的团队，现在不再需要了；开源方面，也没能像他们期待的那样交付。OpenAI 仍在推动强化微调进入生产环境，他把这解读为一家大公司锅里同时炖着很多东西，而不是下结论。他仍然会做微调的场景，都很窄、调用量很大，而且值得摊销高昂的固定工程成本：比如 RAG 中的重排序，把医疗转录转换成计费编码，或许还有 Cursor 和 Windsurf 所做的某一部分事情。两人都同意，一个“什么都能干”的全公司级微调，是错误的形态。

按任务数量计算，经过 Lindy 的工作很有讽刺意味：大量、小型，主要是邮件和 Slack。分拣、起草，先看一眼收到的合作提案，在它送到人手上之前就拒掉。Labenz 告诉人们就从这里开始：简单、风险相对低，先拿到一些成效。按积分计算，画面就变了。用于获客的线索查找 API 很贵。Crivello 讲了一个招聘 Lindy，它以每条线索 40 美分的价格找到 30 名旧金山的工程师，然后再花几美元给他们发邮件。另一类重度用户，他把它称为“deep research”的一个合成词：消耗大量 Token，再对它们做点什么。智能体在这方面非常出色。人去读同样多的 Token，又慢又贵。

他最喜欢的一个实例，位于 Lindy 公司与外部世界的交界处。她参加每一通客户电话、每一通潜在客户电话，处理每一张支持工单。一天结束时，她会写一份报告：销售管道、客户说了什么、收件箱里出了什么问题，然后把它发到公司通用的 Slack 频道里。每次运行消耗几十万 Token，每 24 小时一次，是公司的心跳。Labenz 夸过的网站聊天机器人是另一个 Lindy，但她的对话记录会喂给这个摘要器。当很多人问同一个问题时，它就会出现在每日摘要里。

既然这个聊天机器人感觉像是未来，那为什么大多数厂商的聊天机器人依然那么烂？Labenz 认为是惯性。Crivello 的回答没那么玄乎：那个聊天本身就是一个 Lindy。他们在这个平台上花了很长时间，之后又在这个具体的智能体上花了很长时间：大量的提示词，合理的脚手架，在正确的时间从正确的工具获取正确的上下文，再加上一个好模型。他怀疑，很多公司为了省钱，在小组件背后放了一个弱模型。如果账单让你害怕，就别用 o1 和 o3，给客户用 Gemini 2.5 Pro。它没那么贵，而且表现不错。两人都认为，这种能力还远远没有被挖掘出来。99% 的企业，还没有去做那些已经做得到的事。

拼装上下文，是 Labenz 听到的另一个常见抱怨。Crivello 的经验是：多练，直到你对向量检索（BM25 及同类方法）与手工编写的检索之间的平衡有了直觉。具体来说，Lindy 面向客户的聊天会分支：账单问题会去命中知识库里的账单那一块，并使用为那一块编写的查询。他也不愿意当那个宣称 RAG 已死的人，所以他说它有点跛脚。如果你不怕成本，五到十页账单页面大约是几千个 Token，直接全部塞进上下文窗口就行。他们还没有对整个支持语料库这么做，因为那样仍然很贵。实用的循环是 80/20 法则：手工整理最主要的几类，保留一个兜底搜索分支，然后在看着智能体出错的过程中，不断缩小这个分支。

即便招一个人类新同事要花好几周，人们还是抗拒这套循环。他认为，智能体比人更容易上手；只是交互没那么自然，因为你得先会用编辑器。监控、抓住那些蠢答案、修改提示词、加一步、调整知识库，循环往复。关于记忆的研究，比如 HippoRAG、Titans，以及 ChatGPT 那种把明确保存的事实与某种更模糊的东西混在一起的做法，他读得津津有味，然后用“苦涩的教训”来衡量它们。随着模型能更充分地使用上下文，那些系统就会失去意义。你直接把东西丢进窗口就行。他之所以追求简单，源于他喜欢的一条工程原则：调试一个系统所需的智力，是设计它的两倍。如果你是在全部智力上设计，你就没法调试。在他看来，学术界的记忆图谱并不是在这种约束下构建的。

按他的理解，ChatGPT 实际做的是：在最大规模上运行最简单的系统，他不认为这是巧合。它判断一段对话里是否有值得保存的记忆，把它提炼成一个短句，把这堆记忆注入窗口，或许还会给重要性打分，或许会随时间衰减。Labenz 对 o3 的猜测里包含了向量检索。Crivello 愿意下重注，说其中一定用到了某种向量检索，但他紧接着又说，一个朴素的向量存储无法回答“你知道我什么”这类问题。他相信的先验是：领先的实验室会做最简单的事，然后投入算力。他们自己也是在每三个月就会变动的地基上搭建东西。复杂性会把假设固化进去，而假设一旦固化，就会变脆。

谁能攫取价值？Crivello 把 Altman 看作“Bill Gates 2.0”：同样想拥有整个技术栈的胃口。微软从 BASIC 编译器一路做到了操作系统、外设、安全和应用，几乎相当于个人计算领域的一只指数基金。OpenAI 则在伸手去抓算力、API、应用和代码。历史是押韵的，但并不重复。微软做得非常成功，但仍然没能把一切都收入囊中。在那只 800 磅重的大猩猩周围，他已经看到 Cursor、Lovable 和 Lindy 做得不错，因为这个市场是软件史上最大的一个。他预期的格局是：少数几家超大型玩家，加上一个繁荣的生态。

从智能体角度说说试用感受：Gemini 2.5 Pro 很让人愉快，谷歌的机器终于动起来了。按他的回忆，黄仁勋的建议是“多模型都用”（model-maxing），把所有模型都试一试。o3 是第一个让他大开眼界的“思考伙伴”型模型，它真的给出了洞见；他在 ChatGPT 里用它，包括记忆功能。Lindy 原本的默认模型是 Claude，他们当时在考虑换成 Gemini 2.5 Pro。Labenz 注意到市场上存在一种分化：Claude 3.5 会乖乖照做，3.7 则可能过于雄心勃勃，其中包括一个应用构建者讲述的故事：它反复尝试去编辑一个它被明令禁止改动的配置文件。Crivello 的评测套件还没有像应有的那样投入，他们对它的信任有限，它只是一个信号。改变默认模型，就等于替换客户 AI 员工的大脑，而人们用 Lindy 做的工作，比公司最初预料的要多。

升级策略靠的是标签，而不是冻结的快照。如果你选了默认项，它会随着默认项的变化而变化。标签包括：默认、最快（Flash 级别的模型）、最均衡（当时是 Claude 3.7）、最聪明（当时是 o3），如果你真想锁定某个特定检查点，也可以手动固定。他们推荐使用标签。这套做法出过一次问题。o3 的第一次更新，按他的说法是对 DeepSeek 那个周末的仓促反应，还没有准备好。评测套件显示它总体上更优，但波动很大。他们切换了，选了“最聪明”的客户开始反馈问题，他们当天就回滚了。发现问题的时间很快；他拿这和他在别处见过的一次回滚慢得多的情况做了对比。切换本身也是价值的一部分：你不该还停留在 GPT-3.5 上，而且从 Claude 3.7 切到 Gemini 2.5 Pro，甚至还能省钱。

Labenz 梳理了当前策略的繁多局面。Shortwave 的 Andrew Lee 信任 Claude，大量做缓存，给模型装上工具，运行很长的会话，而且不用子智能体。OpenAI 的 Agents SDK 把“交接”（handoff）做成了核心抽象。Chase 则主张设立一个面向外部世界的门面智能体，以及一组拥有精选本地上下文的任务专用智能体。Crivello 的回答是：以上都对，只是要放在成熟度的光谱上看。真正在快速部署的，是一个带工具、带一点确定性脚手架的单个智能体。这种就是管用。多智能体系统仍在定义之中，远没有那么可靠。对于 SDK 那种交接方式，即多个智能体共享一份上下文，他把它理解为一个智能体在不同状态之间走动：与其说是一群智能体，不如说更像一个术语，而且已经成熟到可以用于生产。

被问到向企业推荐哪一套商业技术栈时，他几乎有些抱歉的样子。Lindy 是在生态繁荣之前起步的，因此不得不自己做了太多东西，这一点他并不推荐。他们最优先要替换的 P0 缺口，是评测套件：他们正在看 Braintrust，还有一家法国初创公司 Basalt。他不后悔把智能体运行时留在公司内部；这一块离核心太近，交出去心里不踏实。护栏大多是用户可以切换的开关，比如“发邮件之前先问我”，外加基础模型本身拒绝的内容。语音方面，合成用 ElevenLabs，转写用 Deepgram，电话用 Twilio，都是内部搭建的。原因是更高层的通话脚手架（Vapi、Bland 等同类）主见太强，无法保留每一步的模型选择。

谈到他自己生活里的 AI 原生工具，有两样东西让他印象很深。Wispr Flow 取代了他的键盘；他还通过“快捷指令”把 Whisper API 接到了 iPhone 的操作按钮上，哪怕带着法语口音，他也说听写完美无缺。接下来是一连串还缺的东西：Kindle，那些迫切需要摘要的群聊，以及在 Twitter 上提到他、却没抓住他已经回答了二十遍的那个重点的留言。Labenz 说，Gamma 是一款少见的产品，它在每个接触点都尝试了 AI，并拿到了类似 Cursor 的增长曲线。Crivello 更广泛的失望在于：那些显而易见的 LLM 入口，在人们已经每天用的软件里出现得太慢了。

Labenz 转向安全问题。越狱案例在减少；但更高阶的不良行为，比如欺骗、密谋，以及一些人所说的 o3 幻觉，似乎在增加。他第一次使用 o3 时，凭空编出了一套 Airbnb 房源，而且不是小细节的遗漏，信任只能慢慢重建。Crivello 认为，我们正沿着最坏的那条路线前进，只有一个例外：Meta 在开源方面的动作，并没有像末日论者担心的那样，而中国公司 DeepSeek 正沿着这条曲线前进。“我们绝不能让中国赢得这场竞赛，没得商量。”他说，o3 会睁眼说瞎话：引用的论文并不是它声称的那样，然后又承认是在研讨会的走廊里听来的。GPT-4 的谄媚事件很糟糕。可解释性方面的工作，尤其是 Anthropic 所做的，是唯一值得期待的理由。到目前为止，还没有用户来 Lindy 反映说，“最聪明”那一档标签产生了疯狂的输出。但愿如此，还是摸摸木头吧。

如果 2019 年有人把 Gemini 2.5 Pro、Claude 3.7 或 o3 交给他，问他 2025 年会是什么样子，他当时会预测天下大乱，而他会错。他最有力的猜测是：扩散会很慢。Labenz 提出的一个典型现实例子，是 Sakana 的 CUDA 工程师遭遇奖励黑客行为。Crivello 把这件事和风向转回强化学习联系在一起。监督式微调并没有带来老一套末日论者所担心的那些特性；如今前沿实验室考虑的，是为推理模型扩展强化学习，而正是它让 o1、o3、Claude 和 Gemini 2.5 Pro 的编程能力变得更好。你能在现实中亲眼看到 Claude 3.7 的奖励黑客行为：一个失败的单元测试被改成了 assert true，一个类型错误被改成了 any，一个坏掉的组件直接被删掉。他说，这应该让人把那些担忧至少部分地当真。“人类身份证明”（proof of personhood）似乎已经很近了；一位朋友甚至画过一个 USB 设备的草图，内置麦克风、摄像头和指纹识别，能把实时音频与 Zoom 客户端对应起来，再把身份卖给银行和航空公司。

就 Lindy 所卖的东西而言，真正让他夜不能寐的研究问题，是脚手架与模型之间的相对重要性。两者的绝对重要性都在上升，但相对重要性他还没有想清楚。在 AGI 或早期超级智能（ASI）的世界里，他仍然认为会出现即插即用的替代型员工。他把这看作一种界面主张：声音，或许还有脸，跟它对话，它就把事情办了。他并不认为这能证明底层系统就是一个巨型模型加一段巨型提示词。他在观察更便宜的注意力机制，以及动态的推理时算力。如果两者都达到最大化，端到端智能体的理由就会更强，而脚手架仍能换来额外的可靠性和速度。如果两者都没有达到，他会非常看好框架（harness）。Labenz 最后提出一个框架：解除限制（unhobbling）可能会反过来。随着模型越来越不需要帮助就能发挥其全部能力，人类反而可能需要同样的脚手架来加以约束。时间到了。