线上 AI 有一半是检索增强生成（RAG），微调几乎消失了

在 No Priors 节目里，Elad Gil 和 Sarah Guo 与 Braintrust 的联合创始人兼 CEO Ankur Goyal 对谈。这次对谈发生在公司刚融到 3600 万美元之后不久，投资方包括 Andreessen Horowitz 等。Braintrust 是一个用于评测、可观测性和提示词开发的端到端平台，用户都是最早把 AI 做进真实产品的公司，比如 Notion、Airtable、Instacart、Zapier 和 Vercel。Ankur 此前担任 SingleStore 的工程副总裁，再往前，他创办过 Impira，一家后来被 Figma 收购的文档抽取公司。客户名单让这场对话很有分量：他讲的是线上的技术栈，而不是网上的口水仗。

他把自己的 AI 工作经历追溯到他现在称为“远古史”的时候。Impira 成立于 2017 年，那时要做出一个能用的东西就已经很难了，所以团队自己搭了内部工具，用来评估输出结果、收集真实用户数据，再把这些数据反馈回更好的评测中。几年后 Figma 收购了这家公司，Ankur 眼看着同样的问题又冒了出来，他的团队几乎又做了一遍一模一样的工具。Impira 是在大语言模型之前做的，Figma 则是之后，而问题才不管这些。

这种重复让他决定创办 Braintrust。他认为，在语言模型出现之前就存在的问题，在大语言模型的世界里很可能还会存在很长时间；而把同一套工具做了两遍之后，这种需求就显得明确，不再只是猜测。他把早期的想法拿给了 Zapier 的 Brian 和 Mike，以及 Notion 的 Simon 等人看。他说，经过多年的用户访谈，他从没见过什么东西能像人们对一套认真的评测方案的渴望那样引起共鸣。第一版原型，用他的话说，“挺烂的”。但人们还是在用，之后一年多收集到的抱怨和点子，把它变成了他如今认为很有力量的东西。

Sarah Guo 记得，最早的讨论是一个可能甚至会开源的计划。后来第一批客户打来电话，大家说的恰恰相反：别开源。他们希望 Braintrust 能长期存在，也愿意为它付费。在开发者工具领域，这样的拉力很少见。许多早期客户在找 Ankur 谈之前，就已经自己做了一个内部版本，他们也正是这样才知道，这件事比看上去难得多。

他说，评测“听起来很简单，不就是个 for 循环嘛”。你把结果打印出来，扫一眼就行。实际上，一旦引入智能体，结果就会变得复杂起来；你能越快地跑评测、读懂结果，迭代也就越快。把这件事做好是一个很难的产品问题，AI 工程的先驱们是用高昂的代价才学会的。Zapier 的 Brian 又提出了第二个论点：AI 会是贯穿整个公司的普遍性技术，而不是某个工程师带着一个小团队照看的项目。他把 Ankur 的注意力引向 Vercel 的文档，说新工程师读了那些文档，就学会了正确构建 Web 应用的方法。照这个说法，Braintrust 也可以成为 AI 领域的同类标准。

Braintrust 所针对的痛点，是对质量的不确定。团队很兴奋，做出一个在几个例子上能跑的原型，发给用户，然后才发现它其实并不管用。从这种演示走到稳定可用的产品，中间就是这道鸿沟。Ankur 的主张是，评测能让这个过程变得清楚：在 Braintrust 里写好评测，然后一轮轮跑下来，把输出质量一点点磨上去，而不是一直担心已经上线的功能可能永远都做不好。Elad 指出，每当你把 GPT-4 换成 Claude，或者改动一下提示词，恰恰最需要看清：哪些用户的结果变好了，哪些变差了。

Sarah 问了一个大家都想从一线系统里得到答案的问题：网上热议的那套技术栈——微调、检索增强生成、智能体——有多少是真的？检索增强生成没什么可争议的。Ankur 说，大家确实在用，它简单、直观，Braintrust 看到的线上使用场景中，大概有 50% 涉及某种形式的检索增强生成。微调则是另一回事。他认为，人们把微调当成了目标，但它其实只是一种技术。大家真正想要的结果，是对工作负载的自动优化，而微调只是通往那里的一条非常困难的路。

Braintrust 每两三个月就会在客户的工作负载上，对微调重新做一次基准测试（benchmark）。GPT-3.5 微调上线后有过一段时间，那时 GPT-4 的访问资格很稀缺，微调是一些团队唯一能用来提升质量的杠杆。现在运行 GPT-4o 已经非常便宜。自那次转变以来，Ankur 说，几乎所有客户——如果不是全部的话——都已经从微调模型转向了指令微调模型，效果也很好。讽刺的是，他和 Sarah 刚开始勾勒 Braintrust 时，微调是他们预计要做的第一批功能之一。如今，已经没什么人真的在做微调了。

对于分不清这些术语的听众来说，区别就像写 Python 和设计 FPGA 之间的差别。指令微调指的是修改提示词，在其中加入模型应该如何表现的示例。你仍然在收集引导数据，只不过是把它喂进了一个浅得多的过程。微调则是实际修改或补充模型的权重。因为它处在更底层，所以更慢、更贵，也很容易把东西弄坏：一次微调可能让模型在真实场景中的表现变差。这就是它更难做对的原因，也是提示词里的示例胜出的原因。

他说，开源模型已经接近一个分水岭，但还没到那一步。Anthropic 在 Claude 3 发布时就经历过那个时刻，而 Claude 3.5 Sonnet 则真正火了起来。Llama 3.1 感觉离那条线很近，但即便关注度比以往任何时候都高，实际采用依然非常有限。Ankur 是个讨厌按 token 付费的开发者，但他会去看客户的账单：在有些情况下，API 成本可以忽略不计；而在成本高的地方，投资回报率也很高。客户优化的是最好的用户体验，开发者则追求最快的迭代速度。在开源拨动这两根指针中的任何一根之前，大规模的线上采用仍然会很难。

Elad 指出，Ankur 在 SingleStore 当了多年的工程副总裁，那是一家以数据库团队战斗力强著称的公司。他问 AI 世界还缺什么样的数据基础设施。Ankur 描述的这种转变，对旧的技术栈几乎算得上一种羞辱。企业把半有用的数据囤在数据仓库里，而在大语言模型出现之前，整整一个行业（他点名了 DataRobot）都在靠这些专有的结构化数据训练模型。关于大语言模型，有一个违反直觉的事实：在互联网上训练出来的东西，比企业用自家数据仓库能做出来的东西表现还要好。

这改变了人们对数据价值的看法。囤积理赔记录或交易历史，可能其实没那么有用。真正的问题是，如何构建一个能很好地推理你所关心问题的模型；Ankur 并不认为，这条路径看起来会像把数据经过 ETL（抽取、转换、加载）送进一个跑在亚马逊云上的数据仓库。很多客户通过日志存进 Braintrust 的数据，根本就没有进过数据仓库。他说，人们并不在意，因为即便放进去，他们也不知道该拿来做什么。

数据仓库是为用 SQL 对结构化数据做即席探索而设计的。这两样都不是 AI 的工作负载：你要处理的是海量文本，而且你不是靠查询去探索它。Ankur 见过的最先进的公司，会用向量嵌入（embedding）和模型本身来筛选数据，例如找出那些在评测集或微调集里代表性不足的客服工单。他认为，大语言模型，尤其是向量嵌入，会成为人们查询数据的核心方式，取代基于关系代数的传统索引。

在他看来，关于向量数据库的争论大多很荒唐。关系型数据库完全能够添加 HNSW 索引。真正会被颠覆的是 OLAP 类工作负载。你没法把语义搜索硬贴到传统数据仓库的架构上，这一变化比 OLTP 那一侧正在发生的任何事都要深刻。存储层、清洗步骤和标注依然存在，但都得围绕另一个问题重新搭建：数据到手之后，你要拿它做什么？

这是 Ankur 的第三家创业公司，他从 MemSQL 带过来的一些东西，比如高难度的技术面试。他和联合创始人 Manu 为面试题花了两三天时间。Braintrust 的前端面试要写一些 C++，这会刷掉不少候选人。他把这视作一个有用的信号：他们想要的，是那些愿意在自己不熟悉的技术栈各个部分之间摸索的人。另一个带过来的东西，是与客户之间近乎执着的关系；通过有意识地选择优先服务哪些客户，这种关系可以被复制。如果 Zapier 和 Notion 的使用场景相似，它们的需求就可以很好地代表下一家与它们相似的公司。他说，新一代 AI 构建者想做的，正是他们已经欣赏的那类产品——其中大多数都在用 Braintrust——所以最佳实践已经内置在产品里了。

Sarah 见过同样的技术路径一再重演。早期，团队研究微调或开源模型，然后意识到应该直接用 GPT-4。他们做了内部工具，然后意识到重心应该放在产品上。在 Braintrust 早期的沟通中，人们说自己不需要它；三个月后他们又打回来，而等待的时间几乎总是差不多。Ankur 说，成立一年或一年半的公司，通常都有一两个成熟的北极星产品，正在努力把它们推进到下一阶段。他见过最普遍的举动，就是放弃“完全自由形式的智能体能解决所有问题”这种幻想。

在录制前两三个月，许多先锋公司一头扎进了智能体的兔子洞，然后意识到这条路走错了。性能很难控制，错误率很高，而且会迅速叠加。此后，大多数公司都尝试了另一种架构：由自己的代码以确定性的方式管理控制流，大语言模型的调用则贯穿整个产品，而不是硬塞进智能体的 while 循环里。Ankur 还没有为它想好一个定型的名字。他把它称为类似“遍布产品各处的 AI 工程”的东西。

谁来负责这项工作，也翻转了过来。ChatGPT 发布时，许多早期的大语言模型采用者手上并没有机器学习人员，这让他们能从一张白纸出发，快速前进。传统的机器学习人员和数据科学家起初往往抵触：模型解决不了他们的问题，或者这整件事可能就是个骗局。Ankur 在看着 Impira 的文档抽取技术变得无关紧要时，也经历了同样的冲击。他认为这主要是情绪上的：GPT-3 说话很刻薄，但它在各方面都比任何你能训练出来的东西都强，而如果你一辈子都在搞 AI，这会冲击你的身份认同。后来想通的人，现在组成了 AI 平台团队，把产品工程师和少数统计或数据科学人员混在一起。对于今天才开始的企业，他会先招聪明的产品工程师，靠好的界面和基础的 AI 工程就能走得很远；只有在产品与市场契合之后，才去加入严谨性、微调或开源降本。他还指出，Vercel 的 v0 如今已经是严肃的工程，但它最初很简单。

Ankur 的说法，Elad 又念给他听：Python 是机器学习的语言，TypeScript 是 AI 的语言。Braintrust 的客户数据支持这一点。绝大多数客户都在使用 TypeScript，包括那些过去主要用 Python 写代码的团队。原因之一是社会层面的：TypeScript 是产品工程的语言，而产品工程师正在推动 Ankur 所面向的世界里的大部分 AI 创新，所以他们把整个生态都拉了过去。另一个原因是技术层面的：TypeScript 的类型系统，能把模型吐出来的各种古怪东西，规整成定义清晰的结构，供软件的其余部分使用。Python 的类型系统仍然不成熟。他认为，数据形态的不确定性，正是选择这门语言的根本原因。

他认为，过去六个月里最大的工具层转变，是人们开始放弃框架。早期，团队把 AI 当成新的 Ruby on Rails：新的应用类型，需要新的框架。现在他们已经收回了这种想法。AI 如今是软件工程的核心部分，渗透在整个代码库里，而不是被困在某个框架能表达的范围之内。在供应商方面，客户正在整合，Ankur 说，推动这一整合的是 AWS。Bedrock 加上 Anthropic（尤其是 Claude 3 和 3.5），让 AWS 重新找回了气势。他接触过的一些公司，AI 供应商名单就是 OpenAI、AWS 和 Braintrust 三家。基础设施方面，不要低估超大规模云厂商。

Elad 问，为什么一位 CEO 还要花这么多时间写代码。Ankur 的回答一半来自市场，一半来自个性。如今企业软件的买家开始重视界面的精致度，这是 Notion 培养出来的习惯，与许多 VC 成长时期见过的那种按清单采购的 IT 决策相去甚远。对他来说，写代码是参与进来最快、最高效、也最愉快的方式，而他十多年来一直没能戒掉这个习惯。因此，Braintrust 的设计就是为了支持这种习惯。最早的员工之一是 Albert，他是前投资人、前投行人员，负责销售、市场、运营和招聘，而这些工作在 Impira 时占去了 Ankur 一半甚至更多的时间。Sarah 提到，黄仁勋在这档节目里也提过类似的观点：围绕 CEO 来构建公司，而不是每次都硬套同一个模板。她补充说，销售提成不是该去创新的地方。

另外两点，他们在 Impira 时坚持得不够：全员都要了解客户，以及能适应被打断的工作节奏。在 Braintrust，如果客户投诉、讨厌某个界面，或者提出一个点子，团队几乎总会立即修好。这种节奏让很多工程师不舒服，而这恰恰是合适的工程师一直想要的，所以他们会专门挑选这样的人。市场推广沿用的是 Ankur 所说的“Elad 学派”：先列出一份约 50 人的名单，他们都是 AI 领域的引领者，然后把他们招募为投资人或客户。有些人一边投资，一边说自己已经做了内部版本；这些人中的许多后来还是成了用户。纸面上看，五十家公司的市场总规模（TAM）很小，但它们很有影响力，并且带来了更多客户。Elad 提醒的是常见的失败方式：创始人要么把目标对准从财富 500 强到小型创业公司的所有人，要么缩小到一个不值得投入的细分市场。

Ankur 说，他每个月都会问自己 Braintrust 应该如何演进，而令人意外的是，答案中真正变化的部分很少。公司最初是从解决评测入手的。后来 Airtable 把评测产品当成可观测性工具来用：每天新建一个“实验”，把线上日志全部倒进去。看懂这一点后，下一个产品就显而易见了。在 AI 里，可观测性的意义在于把数据收集成可以用于评测的数据集，然后或许再用来微调；评测依然是最重要的部分。客户接着问，为什么他们得离开 Braintrust，回到一个对评测和日志一无所知的集成开发环境（IDE）里。他们想在产品里直接编辑提示词、复现线上故障、保存，并自动部署到生产环境。作为一个老派工程师，Ankur 承认这最后一点把他吓得不轻，但这是用户想要的，于是他们就做了出来。他提到了 Martin，一位刚刚转化过来的日活用户，现在每天大约有半天时间都在 Braintrust 里琢磨提示词。

他想要的形态，是 GitHub 和 AI 工坊的混合体：在产品里创建提示词，用 Python 和 TypeScript 写更高级的部分，把它们拼接起来，然后让整条路径都经过评测和可观测性的检验。他的野心是做一个面向 AI 的通用开发者平台。在质量问题上，他经历过大语言模型之前的时代，认为两者的焦虑是一样的。在 Impira 时，人们说所有文档六个月内就能被完美抽取。大语言模型确实很了不起，但文档处理至今仍然没有被彻底解决。人们会把手上的任何技术推向极致。在他看来，AutoGPT 是一次很有成效的实验，它试图超越模型合理能做的范围。AI 本质上是非确定性的，所以评测依然会在那里，只是被评测的对象会变得更复杂。

AI 已经在给自己打分了。类比一下数学作业：验证一个证明比生成一个证明容易得多，模型也遵循同样的道理。前沿模型去审视自己的成果，或者审视别的模型的成果，都能给出准确的评估。Ankur 估计，人们在 Braintrust 里跑的评测，可能有一半以上已经是基于大语言模型的。随着 GPT-4 水平的推理越来越便宜，团队开始让这些评判者在日志上运行。你可以编写基于大语言模型的评估器和基于代码的评估器，让它们自动在一小部分线上流量上执行。有时，这甚至能让你评估那些员工不被允许查看的内容：模型可以读取个人身份信息（PII），判断使用场景是否运作正常，并把结论报告回来。他认为，这种解锁，至少在接下来一年里，会是人们主要在做的事。