OpenAI 2024 年 GPT-4o 发布会：语音、视觉与桌面演示

在 OpenAI 2024 年 5 月的春季更新活动上，Mira Murati 介绍了新旗舰模型 GPT-4o。公司表示，它将为免费和付费用户提供 GPT-4 级别的能力。这段视频剪辑了发布会及其现场演示；所讨论的功能、推出计划和价格均来自当时，并不一定是当前的产品条件。

Murati 表示，公司将在接下来的几周逐步推出展示的功能。她还宣布了 ChatGPT 桌面应用，将其作为在现有电脑工作流程中使用助手的一种方式。

Murati 称 GPT-4o 比 GPT-4 更快，并在文字、视觉和音频方面有所提升。她说，此前的语音体验结合了独立的转录、智能处理和文字转语音组件；GPT-4o 则原生处理语音、文字和视觉，这种设计旨在降低延迟。

模型也通过 API 提供。发布时，OpenAI 表示，与 GPT-4 Turbo 相比，GPT-4o 速度快一倍、价格低 50%，速率限制提高到 5 倍。这些是公司发布时的历史比较，并非当前价格或限制。

Murati 请研究负责人 Mark Chen 和 Barret Zoph 上台。Chen 告诉 ChatGPT 自己对现场演示感到紧张，请它帮助自己平静下来。助手建议深呼吸，随后对他夸张的呼吸作出回应，指导他放慢速度。

Chen 解释说，在展示的语音体验中，用户可以打断模型，不必等它说完。他还强调了更快的响应，以及系统对声音线索作出反应的能力。这是一场现场演示，并非对情绪识别的独立测试，也不能保证每次对话都有同样表现。

为了展示声音表达，Chen 请助手为 Zoph 讲一个关于机器人和爱情的睡前故事。助手开始讲述一个名叫 Byte 的机器人的故事；接着，Chen 要求语气更戏剧化、换成机器人声音，最后用唱歌的方式结尾，助手便相应改变了讲述方式。这段对话展示了在交流中按要求改变风格。

在视觉演示中，Zoph 要求 ChatGPT 通过提示帮助他解决一道手写一元一次方程，而不是直接给出答案。助手在他展示题目前就先说自己看到了；他纠正了它，助手随后等待图像。这个过早回应是演示中可见的错误。

看到纸张后，助手读出 3x + 1 = 4，并询问应如何处理多出的 1。Zoph 在等式两边各减去 1，得到 3x = 3。当他需要另一个提示时，助手问什么运算可以抵消乘法；他选择除法，得出 x = 1。

团队接下来演示桌面应用中的编程辅助。Zoph 解释说，在这个配置中，语音界面无法自动看到电脑屏幕：他先选中并分享代码，然后才提问。ChatGPT 描述了这段代码的作用：获取每日天气数据、平滑温度序列，并在图上标注一个事件。

Zoph 询问函数 foo 的作用，以及使用和不使用它时图表会有什么区别。助手说，该函数对平均、最低和最高温度应用滚动平均，减少图中曲线的波动。随后 Zoph 生成图表并分享，提出另一个问题。

ChatGPT 称图表展示了平滑后的 2018 年温度以及 9 月下旬一场降雨的标注。它指出 7 月和 8 月最热，最高温度大约为 25–30°C，并表示坐标轴使用摄氏度。这些回答展示的是对特定分享图表的解读，不能普遍保证图表解读准确。

针对现场观众提交的一个请求，Chen 要求助手实时翻译英语和意大利语。他指示助手将两种语言互译；剪辑中展示了一段简短对话，随后团队表示看起来有效。现有字幕没有保留完整的翻译对话记录。

接着 Zoph 请助手看一张自拍，说出他看起来流露出的情绪。助手描述了他的笑容，并认为他看上去开心而兴奋。这是在一次演示中根据图像作出的推断，并非对一个人内在情绪状态的可靠测量。

Murati 最后表示，团队希望让人们能亲自尝试这项技术，计划在接下来的几周推出展示的功能。剪辑以现场观众的掌声结束。