Richmond Alake 谈智能体记忆、上下文工程与信息回忆的成本

Berman 以一张引人注目的图片开启直播，并向来自世界各地的观众问好。他回顾了与 2023 年 OpenAI 领导层危机有关的 Sam Altman 和 Mira Murati 之间的消息，包括 Murati 认为局势“总体方向上非常糟糕”的判断。Berman 想象等待董事会决定时的焦虑；他对现场环境和参与者反应的描述属于推测，仅凭消息无法确认。

Berman 觉得 Altman 的简短回复很有共鸣，并继续读出有关催促获取最新情况的消息。他认为 Altman 看起来处理得很平静。随后，他介绍了 Oracle 的 Richmond Alake，称其有关智能体记忆的工作给自己留下深刻印象，并邀请观众提问。

Berman 简要提到 GPT-Realtime-2 的发布，并表示希望稍后讨论语音。OpenAI 于 2026 年 5 月 7 日发布了该语音模型。在直播结束时，他说自己还没有测试过它，因此这场直播没有语音演示。

Alake 解释说，他在 Oracle 的开发者体验工作重点是接触 AI 开发者。两人解决音频和屏幕共享问题后，Berman 从 Anthropic 为 Claude Managed Agents 推出的“做梦”功能开始讨论。

Berman 读出这项功能以研究预览形式推出：它会审查过往会话，寻找模式以改进智能体记忆。画面中的公告称，这是一个定期运行的流程，用户可以选择自动更新记忆或审查建议的变更。

Alake 提醒说，他没有深入研究过这一功能。他的理解是，后台流程会整理或强化有用记忆、解决冲突，也可能遗忘用处较小的信息，让后续会话更有效地检索信息。将它称为“做梦”只是类比，并不能证明系统像人一样做梦。

他提到 Letta 的 sleep-time compute 研究，认为这是在活跃交互之外处理记忆的较早例子。Berman 猜测，后台整理是否能减少高峰时段的工作量，并以更少的 token 给出更精确的回答。Alake 认为这是可能节省成本的方向；两人在推测，并没有展示 Anthropic 实际运营成本的测量结果。

Alake 还提到 Vectorize 开发的 Hindsight，以及围绕它与 Oracle AI Database 搭配使用的讨论。随后他介绍了 ChatGPT 中将引用的记忆来源标记为相关或不相关的界面。他不了解其内部实现，但认为用户反馈可能有助于改进检索和个性化。

两人回顾论文《Generative Agents: Interactive Simulacra of Human Behavior》。论文描述了智能体在模拟小镇中观察、检索记忆、反思和规划的过程。Berman 回忆其中有 1,000 个智能体和一场生日派对；但画面中的 2023 年论文实际描述了 25 个智能体和一场情人节派对，后来另一项独立研究才考察了 1,000 个模拟人物。

Berman 问人类反馈是否会一直有必要。Alake 预测，它会帮助近期的系统，但记忆管理可能变得更加自动化；他指出开发者已经可以构建不需要人逐条评分记忆的系统。这是一项预测，取消人工审查也会改变发现错误或不需要的记忆的机会。

Alake 以 OpenAI 此前回滚过度迎合的行为为例，说明个性化可能出问题。他将其称为记忆问题，但这一说法不应视为对该事件的确定解释。他向观众推荐智能体记忆课程，并强调记忆问题尚未得到解决。

一位观众问，“做梦”是否只是因为 transformer 缺少持久状态而额外遍历日志，以及记忆和计算是否应该融合。Alake 同意，许多现有系统是在不改变模型权重的情况下外挂存储。他不确定这样做长期是否足够，并指出持续学习研究的是随时间更新内部状态。

两人讨论 Dario Amodei 的观点：围绕现有模型构建的系统可能创造巨大的经济价值。Berman 将模型比作引擎，周围还需要一辆车：工具、记忆和运行框架能将原始能力变成有用的工作。两人都不确定未来进步是否要求不断改变权重。

一位观众问及低秩适配，即 LoRA，能否成为更低成本更新模型的方法。Alake 将它与早期机器学习的特征存储作比较，表示团队正在探索改变模型的技术，同时承认在生产环境中适配大型模型会带来成本和延迟。这是研究方向，并非已展示的生产成果。

Alake 共享屏幕，介绍 Oracle 开发者中心中的笔记本和金融智能体示例。他说，Oracle Agent Memory Python 包旨在为不想自行实现所有细节的开发者提供可复用的记忆组件。他是以 Oracle 员工身份讨论雇主的工具。

Alake 粗略梳理了应用从聊天界面，到为模型提供外部领域数据的检索增强生成，再到使用工具的工作流的发展过程。他区分了按既定步骤运行的自动化与更自主地选择行动，并认为许多客户实际需要的是前者。

在他的检索图中，数据经过摄入、清洗和分块，再以结构化记录、嵌入向量和图等不同形式表示。用户查询可以检索相关材料并重排，然后将其提供给大语言模型。这个设计旨在把任务相关信息带入回答，而不是完全依赖模型参数。

Alake 认为维护多个独立数据库会增加运营复杂度，建议使用支持多种检索策略的统一系统。他提出 Oracle AI Database 是一种选择。这体现了他的架构和供应商视角；合适的方案取决于工作负载和现有系统。

Berman 问如何整合 Slack、邮件、视频、项目工具和内部笔记，让智能体既能回答问题，也能主动寻找模式。Alake 说，可以通过连接器或自建摄入管道汇集数据源，然后使用语义、关系和图检索，以不同方式提取信息。构建摄入流程和选择合适的检索方法仍然需要工程工作。

Alake 描述了智能体循环：收集上下文、推理、决定行动、使用工具或停止，然后根据观察结果重复这一过程。随着交互积累，有限的上下文窗口需要管理。他主张关注信噪比，而不是不加区分地加入每一条历史消息。

上下文工程包括跟踪窗口用量、压缩或总结先前内容、卸载信息并在需要时重新检索。Alake 指出，困难不只是生成简短摘要，更在于保留重要信息，让后续工作依然可靠。

Berman 回到观众的批评：这些方法是在绕过模型缺乏持久状态的问题。他同意这是一种局限，但认为改进当前可用的辅助系统仍有很大的实际价值。Alake 用人类和生物学类比解释，工程师为什么会借鉴这些思路，同时探索不同的实现方式。

面对如何让智能体遗忘而不造成检索噪声或信息漂移的问题，Alake 建议根据近期程度、相关性和重要性为记忆单元评分。不同应用可以采用不同权重。他猜测人类可能从不真正遗忘信息；这不是对人类记忆的既定科学描述，相关研究仍在进行。

一位观众将智能体基础设施比作 CPU 缓存与存储。Berman 和 Alake 认为这一类比有帮助：正如 MemGPT 讨论的记忆层次，短期上下文和持久存储发挥着不同作用。这是解释性类比，并非声称人脑或大语言模型与计算机的工作方式完全相同。

Alake 说，调试和研究等长周期任务要求智能体反复执行步骤，同时不丢失关键上下文，也不让成本和延迟失控增长。记忆系统旨在支持这些步骤之间的适应和连续性，但仍须评估系统的可靠性。

另一位观众问，模型是否可以自己管理上下文，而不依靠人类整理。Alake 预计智能体能够改进自己的运行框架，并提到元框架方面的研究；Berman 指出，有些观众已经在尝试这类系统。两人对其普及程度的期待仍属于预测。

Alake 按持续时间和功能划分智能体记忆。上下文窗口中的信息可作为短期工作材料，文件和数据库则可以在会话之间持久保存信息。共享记忆可以协调多个智能体。这些类别是有用的抽象，并不严格等同于生物记忆。

对于程序性记忆，他提到描述智能体如何完成任务的技能文件，以及只在相关时检索的工具描述。情景记忆可以记录与时间相关的交互，语义记忆则保存事实和关系。按需检索工具有助于避免在每次提示中放入所有工具描述。

Alake 解释了为什么向非技术听众教学时会使用人类记忆类比。他还提到神经科学对神经网络研究的影响，以及飞行作为工程从自然获得灵感的例子。一位观众质疑这种类比是否只是复制表面特征，而非更深层的原理；两人认为这是个有价值的问题，并非已解决的科学结论。

他区分了上下文工程和记忆工程：前者管理某一时刻提供给模型的信息；后者还要创建、整理、修订、补充或遗忘窗口之外的信息。两者都是智能体运行框架的一部分，而信息保留和检索策略决定了智能体之后能使用什么。

Alake 展示一个 Oracle 笔记本，比较持续追加对话历史的朴素智能体与使用工程化记忆的智能体。他说自己运行了 100 轮，但直播中实际显示的图表是 80 轮对话。图中，累积历史基线的估计输入 token 不断增长，而检索记忆的曲线大致保持稳定。

他进一步问，较短的上下文是否保留了有用的回答，并展示由模型担任评委的比较。图表显示，在 80 轮中，评委偏好工程化方案 52 次、朴素方案 12 次，另有 16 次平局。这些是该特定设置中的评判偏好，并非经过独立验证的准确率，也不能证明上下文无限；Alake 明确表示自己没有测试 1,000 轮。

另一个取舍涉及 KV 缓存。当提示词前缀保持不变时，服务提供方可以复用缓存的键和值计算结果，无需重新计算；修改或压缩先前上下文则可能破坏这种复用。因此，仅凭 token 减少不能确定总延迟或成本。

Alake 描述了笔记本中的第二张图：只追加内容的基线可以受益于稳定缓存，在他的示例中，工程化记忆版本的延迟较高，而混合设计则更接近基线。他说计划进一步撰文介绍实验。这种比较取决于具体实现、检索开销和服务提供方的缓存行为。

Berman 质疑是否每个人都会构建定制运行框架。Alake 认为编程助手降低了门槛，而且不同工作流需要不同的记忆选择。他开始区分深度研究、对话助手和工作流，但在完整展开这三类之前，讨论转向了观众提问。

一位观众问，相比按需加载记忆，使用整理后的记忆预填充 KV 缓存是否能减少检索遗漏。Alake 将这个问题与预计算可复用上下文的缓存增强生成联系起来，但表示自己不知道答案，需要做实验。用于检索的嵌入向量与模型的 KV 缓存是不同的表示；仅靠预填充不能证明回忆效果更好。

Alake 最后说，开发者可以尝试不同的记忆和运行框架设计，并邀请大家对 Oracle 的软件包和教育资源提出反馈。Berman 感谢他并分享了一门课程。嘉宾离开后，Berman 表示自己原本想试用 GPT-Realtime-2，但需要先进行测试，随后结束直播。