让 AI 智能体拥有两种长期记忆

Annie Wang 提问，多模态智能体在会话结束后应记住什么。穿搭助手示例展示了目标：利用顾客的愿望清单和过去购买记录，为即将到来的晚餐推荐服装。

对话中保留的上下文类似短期记忆：它在会话期间有用，但不会自动延续到下一次。设计问题是哪些信息值得为未来会话保留。

Wang 区分精确事实和语义理解。有日期的活动或购买记录可以存成带 ID 的结构化记录；喜欢简洁穿搭这样的偏好，则可能是多次对话中逐渐显现的模式。

对于精确事实，她建议使用 PostgreSQL、MySQL 或 Cloud SQL 等结构化数据库。查询日程时需要返回实际活动，而不是语义相近的记录。

对于不那么结构化的理解，向量存储可以按含义检索相关记忆。例如，即使用户提问与记忆的措辞不同，也能找到与晚餐有关的穿搭偏好。

向量存储是一类技术，并非单一产品：PostgreSQL 内可以使用向量搜索，也可以使用 AlloyDB 等服务。Wang 还介绍 Agent Engine Memory Bank 这一托管选项，它能从历史会话提取有用信息并持续更新记忆。

把所有事实都放进相似度搜索，在答案必须精确时会出问题。关于购买记录的问题应查询数据库，关于平时晚餐穿什么的问题则可以使用语义回忆。

原始视频帧和音频波形与智能体记忆是两回事。应用可能为了回放、审计、调试或训练保留媒体，但记忆层通常需要的是从信号中提取的有用含义，而不是所有原始画面和声音。

会话开始时，智能体可以先加载即将发生的活动、愿望清单等结构化事实，再检索偏好和舒适度要求等相关语义记忆。两类信息共同为回答提供上下文。

Wang 建议及时保存明确的事实变更：用户要求把一件西装外套加入愿望清单时，智能体调用工具，立即把变更写入数据库。

长期偏好需要更多判断。今天随口说喜欢黄色，不应自动变成永久的风格偏好；反复出现的行为或用户的解释能够提供更强的信号。

记忆提取可以在对话期间或结束后进行。按较短间隔提取可能得到更清晰的记忆，也能在用户提前离开时保留信息；Memory Bank 支持会话中生成记忆。

对实时语音智能体而言，基于模型的提取比简单数据库写入更慢，不应阻塞音频。Wang 建议在一轮对话之后或会话结束后异步执行，让提取避开对延迟敏感的路径。

在她的演示中，结构化事实立即写入，语义理解则在会话结束后提取。下次会话再加载两者：读取上下文、写入变化，并将有用信息带到下一次。