James Briggs 谈向量数据库、检索与 AI 记忆

James Briggs 回忆，ChatGPT 突然引发了人们对语言模型的浓厚兴趣，Pinecone 的注册量也远超公司以往的水平。Matthew Berman 介绍 Briggs 是 Pinecone 的开发者倡导经理和 AI 教育者。Briggs 的观点反映了他在公司的职位；访谈中没有提及单独的赞助商。

Berman 询问 Pinecone 和向量数据库有什么作用。Briggs 从公司内部搜索框说起：传统关键词搜索即使在用户知道自己要找什么时，也可能要求他们猜出文档里的精确措辞。语义检索则尝试寻找与查询含义相关的内容。

Briggs 说，这种方法可以扩展到文本以外：借助合适的多模态嵌入模型，“一只可爱的狗”这样的文字查询也能检索相关图像。表示方式和训练方法都很重要；向量数据库本身并非天然理解每种内容。

Berman 问开发者实际上要存储什么。Briggs 解释，嵌入模型将文本或其他输入转换成数值向量，随后计算向量之间的相似度；数据库负责为向量建立索引并检索。当应用需要展示或传递结果时，也必须能获取底层源文本或指向它的引用。

Briggs 用二维图上的点举例。实际嵌入通常有数百甚至数千个维度。附近的点应对应模型及其训练所定义的相似输入，而不是对所有可能含义作出的客观衡量。

一些嵌入模型针对一般语义相似性训练，另一些则经过调整，用于匹配问题与有用的答案。选择取决于任务。查询和相关答案即使不是彼此的同义改写，也可能在检索空间中彼此接近。

Berman 用一首诗确认自己的理解：应用不只存储字面文本，还可以将其转换成数字序列，并为该向量建立索引。Briggs 表示赞同，随后区分了生成嵌入的步骤，以及数据库存储和检索向量的作用。

在 2023 年访谈时，Briggs 描述的做法是开发者自行生成嵌入，再发送到 Pinecone。他提到 OpenAI 和 Cohere 等托管 API，也提到可作为更开放方案的 Sentence Transformers。产品能力会变化，这一描述只对应访谈时点。

Briggs 说，针对某些数据微调嵌入模型可能有所帮助，但现成模型可以作为有用的首次测试。Berman 复述了流程：调用嵌入接口，接收向量，并发送到 Pinecone 以备后续检索。

Berman 问为什么向量搜索与语言模型应用联系起来。Briggs 表示，一个常见用途是检索：模型训练数据中可能没有公司的私有记录、近期事件或专业事实，被问及时可能生成缺乏依据的回答。

Briggs 描述的流程是接收用户查询、搜索索引并返回相关段落，再将这些段落与问题一起放进提示。这种模式通常称为检索增强生成。相关证据有助于让回答建立在资料之上，但仍可能发生检索错误和幻觉。

外部资料可以独立于模型训练进行更新。内部文档变化时，应用可以为修订后的源内容建立索引并检索相关部分，无需每次都重新训练模型。这不会改变模型参数，也不能保证检索所得的答案正确。

Berman 将其称为一种长期记忆，也是处理超出上下文窗口容量材料的方法。他以长 PDF 为例：为文档部分内容建立索引，检索与问题相关的段落，再将这些段落传给模型。Briggs 同意这种描述。

被问及其他用途时，Briggs 提到语义搜索和推荐。他给出一个简化例子：对用户的观看历史和其他用户的行为进行表示，让系统找到相似模式并推荐节目。实际推荐系统可能使用许多信号和架构；这些例子不能证明任何特定公司的实现方式。

Berman 说，搜索网站或软件产品内容也是一个有吸引力的应用。根据他的经验，向量服务让相关性搜索原型很容易搭建。Briggs 同意，准备和清理底层数据可能比最初实现搜索功能更费工夫。

Berman 回忆起之前在一家公司用 Elasticsearch 实现客户搜索的困难经历，可搜索记录包括联系方式和消息历史。他将这与自己快速搭建 Pinecone 原型的体验作对比，同时承认较早的实现已经是多年前的事。

Briggs 将他们过去的 Elasticsearch 配置与 BM25、TF-IDF 等词项方法联系起来，这些方法根据词项匹配情况排序。不能把这段经历概括为整个产品的能力：[Elastic 文档](https://www.elastic.co/docs/solutions/search/hybrid-search)介绍了向量搜索和混合搜索。词项方法与语义方法可以互补。

Berman 询问 Pinecone 的历史。Briggs 估计产品开发已持续数年，而大家熟悉的服务约在访谈前一到两年发布。他说自己通过自由职业工作接触到 Pinecone，当时在公司已近两年。

Briggs 说，ChatGPT 出现之前团队规模很小，他的工作之一是从基本原理解释向量搜索。据他回忆，即使在信息检索领域遇到的人中，也有许多不讨论这个话题。这是他的个人印象，并非对整个领域的测量。

此前与潜在用户的讨论主要围绕语义搜索和推荐系统，而非如今备受关注的语言模型记忆应用。Briggs 回忆说，当时受众规模小、专业性强，需要向人们展示相似性检索为何有用。

Briggs 说，大约在 2022 年 5 月，Pinecone 开始与 OpenAI 工程师更紧密地合作。他们演示如何将 Pinecone 检索与 GPT-3 结合。他澄清，这不是秘密提前接触 ChatGPT：GPT-3 当时已经可以使用，关键收获在于如何组织提示和检索到的上下文。

他此前的问答工作通常直接从检索文本中抽取一段内容。Briggs 说，借助 GPT-3 和构造良好的提示，应用还可以生成项目符号答案、用两句话总结，或提取相关 Python 库。这种灵活的输出让他印象深刻。

随后 ChatGPT 改变了受众规模。Briggs 记得在菲律宾的一次新年聚会上，从事营销和搜索优化的人都在谈论它。对于习惯向小众受众解释这项技术的他而言，这种变化来得很突然。

Berman 将此前的检索会议与那次社交聚会作对比。Briggs 说，人们注意到语言模型可能产生幻觉或缺少最新领域知识后，许多人开始寻找基于检索的方法，并了解向量数据库。

在 Pinecone 内部，团队已经了解语言模型和向量搜索之间可能存在的联系，但 Briggs 说 ChatGPT 的影响仍超出预期。与之前的基线相比，关注度和注册量增长了几个数量级。他描述的是公司的经历，并未提供经过核验的增长数据集。

Berman 问 AutoGPT 是否带来了另一次高峰。Briggs 说，经过一段快速增长后，他休完周末回来，发现某一天的注册量远超此前水平；同事解释说增长来自 AutoGPT 集成。

Briggs 说，许多早期 AutoGPT 用户平均只有约十个嵌入。对于如此小的集合，托管向量服务并非必需，因此 Pinecone 帮助该项目增加了其他选项。默认设置改变后，使用量有所回落。这个经历体现了用户增长和工具适用性之间的权衡。

Berman 将 AutoGPT 描述为一种利用模型生成步骤、围绕高层目标不断迭代的软件。他将其与未来 AGI 的潜在关系表述为猜测。一个智能体项目受欢迎，并不能确立 AGI 架构，也不能保证自主运行可靠。

谈到大型外部知识库时，Briggs 列举了数十万、数百万乃至数十亿条目的集合，认为这些场景可能适合使用托管向量数据库。这些数字只是例子，并非通用门槛：延迟、过滤、更新频率、成本和运维要求也很重要。

对于较小集合，Briggs 建议将嵌入保存在 NumPy 数组中，为查询生成嵌入，并计算点积等相似度分数，然后选取得分最高的结果。原型可能用几行代码就够，但合适的相似度指标取决于模型。

Briggs 说，他有时仍在小项目中使用 Pinecone，因为它是托管服务，并提供过滤、混合搜索等功能。本地数组可以避免对服务的依赖，数据库则可能提供运维功能；单凭数据规模或供应商关系都不能决定正确选择。

Berman 问，不断扩大的上下文窗口是否会让检索过时。Briggs 欢迎更大的窗口，但说当时的模型即使只处理几千个 token，也可能忽略指令。信息能放进窗口，并不自动保证模型能可靠地使用它。

即使假设模型能完美关注长提示，Briggs 仍认为 10 万或 100 万 token 的窗口与大型索引集合相比很小。Token 数量和存储的嵌入数量衡量的是不同事物，每个向量所代表的信息量取决于分块方式。

Briggs 预计检索系统仍有助于选择、更新和管理大型数据集合，尽管在较小任务中它可能与长上下文方法重叠。他对未来上下文窗口扩展效率的预测，是 2023 年的观点，并非已被证实的极限。

Berman 提到大型搜索平台，作为无法放进单个提示的大型集合的例子。Briggs 说 Pinecone 面向较大工作负载，相比十亿级集合，他认为数千万向量并不算特别大。合适的架构仍取决于实际工作负载。

话题转向 AI“记忆”的含义。Briggs 解释，模型的参数化知识反映其训练及后续更新，而一次基本推理调用不会自动把对话保存为持久状态。应用可以在模型之外单独管理状态。

在聊天机器人中，可以在每次新请求时重新提供之前的对话轮次，使回答反映对话内容。Briggs 将这称为对话记忆。它属于外围应用与提示历史的功能，并不能证明模型权重会从每次交流中学习。

独立的外部知识库可以存储与文档或其他内容关联的向量。应用检索相关记录并放进模型上下文后，模型便获得了了解选定外部信息的窗口。Briggs 将其称为长期记忆，同时指出“外部知识”可能是更准确的描述。

Berman 总结了提供或改变信息的三种方式：直接放入上下文、检索相关外部材料并加入上下文，或微调模型参数。微调需要时间和算力，与检索文档是不同操作；两种方法都不会自动保证事实回忆可靠。

Briggs 补充说，工具和智能体也是获取信息的方式，例如搜索网页或调用 API。它们的结果仍需以某种形式传给模型。他将方法分为参数化知识、提示中提供的来源信息，以及通过微调进行的参数更新。

Berman 问，人工通用智能是否需要记忆。Briggs 说他愿意这样认为，并回忆起一部科幻电影，其中的 AI 依赖搜索引擎。他设想检索与语言模型结合可能是一种架构；这只是他的推测，并非已经确立的 AGI 必要条件。

Berman 感谢 Briggs，并推荐他的频道和 Pinecone。对话以同一实用主题结束：检索能让模型获得选定的信息，而合适的系统取决于底层数据的规模、质量和管理方式。