2023 年的 AI 记忆：长上下文、检索与循环记忆

在这段 2023 年 4 月的视频中，Matthew Berman 思考 AI 系统如何在更长时间内保留并使用信息。他认为有限的上下文是助手和自主智能体面临的障碍，并比较了外部记忆检索与一种处理更长序列的研究方案。这两篇论文都没有证明 AI 记忆或 AGI 问题已经解决。

Berman 认为，获取相关的先前信息可能帮助助手推理和适应。他以当时 GPT-3.5 约 4,000 个 token 的上下文，以及 GPT-4 的 8,000 和 32,000 个 token 版本，说明开发者面临的限制。这些数字描述的是 2023 年的情况，并非当前产品的限制。

Berman 认为，由 AI 智能体驱动的游戏角色需要获取过去发生的事件，才能长期保持行为连贯。如果没有办法保存和检索先前经验，角色互动就可能受限于当前提示词中能够容纳的信息。

编程是另一个例子：代码库可能太大，无法放入单个上下文窗口，开发者就必须选择相关文件或分批提供。更大的可用上下文可以减少部分工作，但把整个代码库放进窗口，并不能保证模型正确理解它。

Berman 还举例说，一本书可能在模型训练之后才出版。用户可以将相关内容作为上下文提供，也可以使用检索或微调等方法。向提示词添加信息只让模型暂时获取这些内容；这与更新模型学到的权重或赋予它持久记忆不同。

他回顾了 2023 年的 Generative Agents 论文：模拟角色存储经历，针对当前情况检索相关记录，并生成更高层次的反思。研究者在一个小型虚拟城镇中测试了 25 个智能体；这一架构在模拟中产生看似合理的行为，并不等同于人类的终身记忆。

Berman 将反思类比为记住较早事件的整体规律，而非每个细节。论文实际采用的是一个经过设计的系统：存储自然语言形式的观察、进行检索并生成反思。这是对人类记忆的类比，并没有证明智能体像人一样记忆。

第二篇论文《Scaling Transformer to 1M tokens and beyond with RMT》在长序列的各个分段之间传递学到的记忆表示。在 2023 年的原始报告中，作者增强了 BERT，并在最长 2,048,000 个 token 的序列上评估了针对特定任务构造的合成检索和推理；这并不是通用的两百万 token ChatGPT 提示词。

研究者报告称，在他们特定的推理配置中，GPU 显存占用保持恒定，而计算量随固定大小的分段数量大致线性增长。Berman 指出，质量可能下降，处理时间也可能很长。分段之间传递压缩记忆，也意味着系统不能保证保留所有细节或回答有关整个输入的任意问题。

Berman 将可用方法概括为：选择放入提示词的内容，检索或压缩外部记忆，以及研究循环架构。他认为这些研究有前景，但还没有准备好投入生产，希望后续工作能改善实用智能体的记忆能力。他认为此类进步是实现 AGI 的必要条件，但这是一个假设，并非这些论文已经证明的结果。