让语音智能体记住用户,而不必反复发送完整转录

原标题Give a Voice Agent Memory Without Sending Its Whole Transcript

Scribant 演示利用 40 词窗口和持久事实减少分类器输入,同时跨会话保留用户偏好。

MLMiles Libbey嘉宾
频道
Google Cloud Tech
发布
2026年11月17日
视频
15:19
阅读
6 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

语音智能体如果每次都重新发送所有说过的话,成本和延迟可能不断上升,会话结束后却仍留不下记忆。Google Cloud 工程师 Laxmi Harikumar 和 Scribant 开发者 Miles Libbey 将用于判断当前意图的短滚动窗口,与存储长期事实的独立记忆库结合。在他们的简短演示中,与发送完整语音流相比,40 词窗口使分类器输入减少约 86%,滚动摘要减少约 70%。这些数字描述的是该演示,并非通用基准。

  1. 1建议操作须经批准才会影响外部服务语音转文字后的内容并行进入摘要和操作提取流程,随后解析日期。执行关卡会先展示卡片,再更改 Calendar 等服务。
  2. 2原始历史、简单检索和知识图谱各有代价Harikumar 说,完整历史会让提示词不断增长,简单文本检索可能返回相互矛盾的事实,而自建知识图谱需要额外的工程工作。
  3. 3在实时提示词之外存储和更新长期事实演示者展示了如何从 Memory Bank 异步提取和检索事实,包括能延续到后续会话的用户偏好。
  4. 4向分类器发送有限的近期语音窗口他们把大约十行转录替换为约 40 个词,并可根据应用调整长度。
  5. 5摘要和窗口在简短演示中的节省幅度不同演示者称,与完整语音流相比,滚动摘要约减少 70% 的 token,40 词窗口约减少 86%;这是一个示例。

要点建议

  1. 用最近说的话判断当前意图,并单独检索长期事实,避免每一轮都发送完整转录。
  2. 用确定性的方式解析相对日期,并要求用户批准后才让建议操作影响外部服务。
  3. 分别衡量原始语音、摘要和滚动窗口的 token 用量;合适的窗口长度取决于语音内容。
  4. 在演示者的简短示例中,40 词窗口比完整语音流节省约 86% 的分类器 token。
全文

按章节阅读整理后的全文

只看原始文稿
01

把零散想法转化为行动的语音智能体

Scribant 把口述想法转化为笔记和建议操作。演示展示了一场会议及其他任务如何从实时转录中提取出来。

语音转行动的智能体可以将一连串想法变成有用的操作,但持续对话会带来两个问题:提示词不断增长,而不同会话之间没有持久记忆。在这次演示中,团队加入了滚动上下文窗口和一个单独存储长期事实的地方。

Miles Libbey 的通勤时间很长,留下了许多充满想法、却难以整理的语音笔记,因此他开发了 Scribant。他希望智能体能整理笔记,并将建议任务发送到 Google Drive、Calendar 和 Jira 等服务。

Laxmi Harikumar 向它说了一些杂事、一场会议和设计文档截止日期。实时转录显示在摘要旁边,应用则将可能的操作分到不同类别。Libbey 说,这个智能体的设计目标是在后台倾听和工作,而不是打断用户。

Scribant 将实时语音与建议操作分开
幻灯片 1 / 4Scribant 将实时语音与建议操作分开界面展示转录、实时摘要,以及笔记、查询、日历事项和任务的独立分类。

Harikumar 选择建议的会议事件,并展示它出现在日历中。这个过程将杂乱的原始语音与用户决定执行的结构化操作区分开来。

02

流程要求批准后才执行操作

转录结果进入智能体流程和确定性的日期解析器。批准关卡将建议操作与对外部服务的写入分开。

流程从 Google Cloud Speech-to-Text 转录音频开始。随后两个专门的智能体并行工作:一个维护摘要,另一个提取事件、任务、搜索和开发工单等内容。

转录与多智能体流程
幻灯片 2 / 4转录与多智能体流程图中语音转文字位于智能体流程之前,日期解析器与摘要和操作组件并列。

确定性的日期解析器将“下周三三点”这样的相对表述转换成具体日期。流程展示建议卡片,并在用户批准操作前保持只读;不会仅仅因为提到了任务,就写入 Calendar 或开发工作区。

03

原始历史为何不等于持久记忆

演示者比较完整历史提示、简单检索和知识图谱。每种方法在延迟、一致性或工程开销上都有不同取舍。

这种设计在单次会话中可行,但如果反复将不断增长的聊天历史塞进提示词,每一轮都会消耗大量 token。演示者希望在保留跨会话有用上下文的同时,让实时智能体保持响应速度。

Harikumar 比较了三种为智能体提供上下文的方法。追加原始历史很简单,但智能体每两秒处理一次语音时,内容可能迅速增长。基础检索系统只获取匹配片段,可以节省 token,却可能同时返回新旧两个地址,无法判断哪个是当前地址。

自建知识图谱可以表示实体和关系,但她说,开发者还必须构建提取机制、维护数据结构,并在事实改变时实现更新。他们采用的另一种方法是用 Vertex AI Memory Bank 在主执行循环之外管理这些记忆操作。

04

提取和检索持久的用户事实

演示创建了记忆库,存入用户偏好等事实,并在控制台中查看。这些事实可在后续会话中检索。

Harikumar 说,记忆服务异步运行,负责提取、去重、冲突解决和事实更新。团队先创建记忆库,在云控制台中找到其标识符,然后再存入事实。

摄取过程会保存日后可能有用的事实,例如去印度旅行或偏爱茶。团队还构建 API 来测试摄取和检索:只有应用能在后续问题需要时取出事实,存储才有意义。

控制台显示已保存的事实、资源名称以及创建和更新时间。示例中,素食餐饮要求和饮茶偏好以简短条目出现,而不是保留整份对话转录。

已保存的事实及其更新时间
幻灯片 3 / 4已保存的事实及其更新时间记忆控制台展示提取的偏好,以及创建和更新的时间戳。

第二项改变针对当前上下文。Libbey 原先会向意图分类器发送大约十行文字,以便它获得足够上下文。现在长期事实可以单独获取,团队便改为发送约 40 个词的滚动窗口。

05

压缩并衡量当前上下文

滚动窗口限制意图分类器接收的内容。在一次简短的现场测试中,仪表盘比较了原始语音流、滚动摘要和有限窗口。

40 个词是起点,而不是固定规则。窗口应根据应用和用户句子长度调整,让分类器看到判断语音表达的是任务、日历事项还是问题所需的近期信息。

压缩可以限制无关内容,有助于让提示词保持在范围内并降低延迟。Harikumar 区分了语义摘要和基于规则的裁剪:例如,智能体可能只需要工具的最终结果,无须带上每个中间结果。

为了观察改变的效果,他们构建了遥测仪表盘,显示转录、摘要和滚动窗口各自的 token 数量。这样可以更容易看出流式智能体的哪个部分消耗了上下文预算。

他们用一段简短对话测试智能体:对话涉及此前去印度旅行、可能去西班牙,以及对海滩和露营的兴趣。应用识别出查询和操作,仪表盘则比较不同版本的上下文。

对于约 200 个口述词,滚动摘要生成约 92 个 token。演示者称,在这次简短演示中,与向意图分类器发送完整语音流相比,摘要节省约 70% 的 token,40 词窗口节省约 86%。

仪表盘比较完整语音、摘要与近期窗口
幻灯片 4 / 4仪表盘比较完整语音、摘要与近期窗口三列视图展示原始语音流、压缩摘要和滚动窗口,方便比较 token 用量。

演示者还在示例中把约 1,400 个原始 token 与约 24 个提炼后的记忆 token 进行比较。查看记忆库可以看到去过印度、想去西班牙、喜欢海滩和露营以及自己泡茶等事实。

06

查看和管理已经记住的内容

演示存储旅行计划和偏好,供以后使用。演示者说,这些记忆也可以删除。

这些事实可在后续会话中重新取出,无须每次从整段语音流重建。Harikumar 说,用户可以删除记忆,也可以按自己的意愿保留。

所展示的架构将有限的实时上下文与持久记忆结合:用短窗口判断当前意图,在相关时检索已保存的事实。演示者将 token 仪表盘作为监测持续语音智能体成本的一种方式。

同频道的其他文章

2 张幻灯片16:12EN → 简体中文
Google Cloud Tech· 2026年11月16日Looker CLI 让智能体发现并执行管理任务Chrissie Goodrich, Mike DeAngelo · Google CloudMike DeAngelo 介绍命令发现和 JSON 模板如何让智能体使用 Looker API,而无需一次加载所有工具说明。开发流程与测试智能体MCP+2
6 张幻灯片55:11EN → 简体中文
Google Cloud Tech· 2026年11月14日无代码构建 AI 应用:先诊断系统,再要求修复Devin Chasanoff · Google CloudDevin Chasanoff 分阶段构建训练教练,用测试和上下文追踪修复 API 连接及计划被意外改动的问题。AI interface designSoftware engineering开发流程与测试+2
3 张幻灯片13:01EN → 简体中文
Google Cloud Tech· 2026年11月12日构建能检查每位客人需求的智能体评估Annie Wang · Google CloudAnnie Wang 构建自定义 ADK 指标,根据群组要求为餐厅计划评分,并在 CI/CD 中运行。评估智能体工程开发流程与测试+1
6 张幻灯片23:57EN → 简体中文
Google Cloud Tech· 2026年11月10日让 AI 构建的应用更容易调试的六个前端概念Devin Chasanoff · Google CloudDevin Chasanoff 用交互式游戏追踪器说明数据存放位置、计算值和组件之间的通信。Software engineering编程智能体开发流程与测试+1
4 张幻灯片41:04EN → 简体中文
Google Cloud Tech· 2026年11月9日Google 如何测试 Gemini 4,并用智能体维护代码Tulsee Doshi, Smitha, Rody Davis, Luke, Mollie, Billy, Annie · Google DeepMindTulsee Doshi 介绍分阶段发布和长时间任务;演示则用子智能体审查 Web、Android 和 iOS 代码。编程智能体Foundation ModelsAgent orchestration+2
8 张幻灯片17:27EN → 简体中文
Google Cloud Tech· 2026年11月9日修复混乱应用:先定义状态,再向智能体下指令Devin Chasanoff · GoogleDevin Chasanoff 先梳理健身界面的状态、转换和测试,再让智能体修改应用。开发流程与测试编程智能体产品与体验+1