GPT Live 如何在智能体工作时继续对话

GPT Live 工程师 Alex 和与语音初创公司合作的 Erika 与名为 Marin 的语音智能体一起介绍 GPT Live 1。他们演示同时听说、任务委派以及背景噪声下的表现。

讲者说，模型持续流式接收和输出音频，而不是依赖明确分开的用户与助手轮次。它可以边说边听，并决定何时回应。

他们引入第二个声音 Colin，进行合作讲故事的游戏。Colin 是独立的 GPT Live 会话，拥有自己的声音和指令。

对话中出现了打断和简短反应。Alex 说，模型自行处理发言时机，无须依赖独立的语音活动检测器判断对方是否说完。

第二个语音会话也可以在评估中扮演模拟用户，使用指定的声音、性格和目标。团队用这种方式排练了演示。

Erika 说，提示词可以调整语气、口音、笑声、简短回应以及语音打断或等待的倾向。合适的行为取决于产品需要积极的伙伴还是耐心的倾听者。

下一个演示是画图猜谜游戏。后端负责画图，Marin 同时与观众交谈并回应猜测。

委派让语音模型在更强的模型或智能体处理复杂请求时继续流式对话。后台任务完成后，结果可以返回给语音模型。

游戏将视觉界面、语音界面和后端分开。语音模型收到答案和提示，因此可以立即回应猜测，而后端同时绘图并记录本轮状态。

后端可以向模型的思考流发送静默上下文更新，让语音模型了解进展，从而在用户提问时无须每次重新委派任务。

评论流可以提供要说出的内容，指令流可以改变行为或设置约束。应用决定哪些信息应保持静默、被说出来或作为指令。

团队发现，在长期 Codex 任务中频繁播报进展可能令人分心。讲者建议在后台保持语音模型的信息更新，并考虑用户已经能够在界面上看到什么。

使用客户端委派时，应用接收事件并运行自己的后端、模型或智能体框架。它可以利用文稿和应用状态准备请求，再通过选定的流返回结果。

使用 Responses 委派时，开发者选择 Responses API 模型并配置指令和工具；OpenAI 管理委派并提供对话上下文。还可以启用网页搜索和图像生成等托管工具。

最后，团队播放较大的背景音，同时继续交谈、改变声音并发出请求。他们用此说明无须等待安静即可持续交互。

讲者认为语音可以让控件更容易使用：用户无须知道设置在哪里，只需描述想要什么。他们说，模型持续判断是说话、倾听还是调用工具。

最后，Marin 委派生成一组图片。团队说，应用设计者需要决定哪些工作交给后端、界面展示什么，以及语音模型需要知道或说出什么。