OpenAI 2025 年音频模型与语音智能体工具

2025 年 3 月，我评述了 OpenAI 的一场直播。直播发布了音频模型和用于构建语音智能体的开发工具。我认为语音是 AI 的重要交互方式，尤其适用于屏幕或键盘不方便使用的时候。

OpenAI 团队推出了两个语音转文本模型、一个可控制朗读方式的新文本转语音模型，以及旨在帮助将文本智能体变成语音智能体的更新。视频中的声明和产品能力反映的是发布时的情况。

一位 OpenAI 演示者将语音智能体描述为通过语音代用户行事的 AI 系统，并举出客服和语言学习练习等例子。我也介绍了自己不在屏幕前时，用语音交互快速提问的习惯。

演示者区分了语音到语音系统与链式方案：后者先将语音转录成文本，再由文本智能体处理，最后通过文本转语音模型朗读结果。两种架构暴露的组件不同，可以支持不同的工作流。

我更偏好直接语音交互，因为语调、重音和其他声音线索可能在纯文本转录中丢失。我也指出链式系统可能增加延迟，但实际延迟和保真度取决于具体实现，而不只由架构决定。

OpenAI 团队解释了开发者可能仍然偏好链式方案的原因：组件是模块化的，可以分别选择模型，也能为现有文本智能体添加音频输入和输出，无需从头重建。

团队介绍了 GPT-4o Transcribe 和 GPT-4o mini Transcribe。演示者说，较大模型使用大量音频数据训练，较小版本则通过蒸馏来提高速度和效率；这些是发布时的声明，不是我进行的测量。

OpenAI 展示了新模型与 Whisper 各版本在 FLEURS 数据集上多种语言的词错误率对比。词错误率越低越好，但这些由公司展示的结果适用于该数据集，并不保证每段录音都能获得同样的改进。

我考虑本地运行的开放权重语音模型是否更适合某些工作负载。本地推理仍需要硬件、电力和维护，而托管 API 需要支付服务费用；哪种选择成本最低，取决于使用量和运营要求。

演示者讨论了流式转录、降噪和语义语音活动检测。后者旨在帮助识别说话人何时说完，使应用能够回应，而不必把每一次短暂停顿都当作一个想法的结束。

OpenAI 通过 OpenAI.fm 演示 GPT-4o mini TTS，选择一种声音并提供语气和朗读方式指令。演示使用同一个文本转语音界面展示不同风格；视频没有评估所有声音或语言。

我仍然关注语音转成文本时如何保留语气、情绪和节奏。我提出额外表示朗读方式的信息可能有用，同时承认简单的转录文本无法捕捉音频的所有方面。

团队演示了一个支持语音的客服智能体，它调用工具获取最近的订单，并回答后续问题。这个例子展示了一种工作流，并不保证每次订单查询或回答都正确。

演示者展示了一种追踪界面，其中包含智能体交互的音频、转录文本、元数据和时间线。我喜欢能够检查和重放事件来辅助调试，虽然我自己还没有试用过这个界面。

我的结论是，这次发布为语音应用开发提供了有用的基础组件。2025 年 3 月讨论的演示和价格应视为历史信息，而非当前文档。