GPT-4o 早期演示：语音、辅导、会议与无障碍

GPT-4o 于 2024 年 5 月发布几天后，Matthew Berman 回顾模型和 OpenAI 的示例。他表示部分模型能力已经可用，但新的语音体验当时还无法使用。因此，他对语音的评价基于演示，而非亲自长期测试。

第一个示例中，一位 OpenAI 员工向助手展示制作现场，引导它猜出发布内容与模型本身有关。Berman 对摄像头输入与对话的结合印象深刻，但觉得所选声音过于暧昧，有时显得尴尬。

Greg Brockman 让两个助手互相认识。一个可以看到摄像头画面并负责描述环境，另一个负责提问。Berman 注意到 Brockman 要求其中一个助手暂停时，它改变了说话方式，并强调交互看起来反应很快。

有视觉能力的助手向另一个系统描述 Brockman 的衣着和房间。Berman 觉得对话风格比他喜欢的更爱恭维、也更啰嗦。录制时，他试用的是旧语音体验，无法重现新演示中的延迟和表现力。

一个人短暂出现在 Brockman 身后，做了一个玩笑手势。助手继续对话，直到 Brockman 询问是否发生了异常，视觉助手才描述这一事件。Berman 表示，他自己无法从手机画面清楚看到那个手势。

接着两个助手尝试轮流唱出描述场景的歌词。Berman 对近期视觉上下文、押韵和轮流发声的结合感到惊奇。这是在排演交互中展示生成语音；富有表现力的表达不意味着系统感受到情绪。

面试准备示例要求助手评论演示者的外表和衣着。Berman 思考听起来亲切的声音与对话历史可能如何影响陪伴型应用，同时明确表示这是超出该演示的推测。

在石头剪刀布演示中，两人要求助手像体育评论员一样倒数。它根据摄像头画面描述各轮结果并指出赢家。Berman 对它看似能够将姓名与参与者对应起来感兴趣，但一次演示并不是普遍身份识别能力的测试。

一个较短的示例要求助手使用讽刺语气。声音随之改变，展示语音界面可以传达的不同语调。Berman 认为这种表达控制是新语音演示区别于早期交互的特点之一。

Khan Academy 创始人 Sal Khan 和儿子 Imran 尝试几何辅导练习。Khan 要求助手通过提问引导学生，而不是直接给出答案。Berman 认为这种方式有学习潜力，但解释和反馈需要核对准确性。

助手要求学生根据一个角判断直角三角形各边。学生不确定时，助手描述斜边和邻边，再请他重新尝试。Berman 强调了语音与设备屏幕上练习的结合。

Berman 设想能够看到设备上下文并最终采取行动的助手，但将这种可能性与演示区分开。他指出，操作系统访问、个人信息和实际任务执行分别带来产品与权限问题。

会议示例中，人们讨论猫和狗，助手从一名参与者的桌面上听取对话。Berman 纠正了自己最初的描述：助手实际上不是会议参与者。它记住各人的偏好并总结讨论；他设想未来可以进一步发送后续消息和行动项。

另一段片段演示英语与西班牙语之间的翻译。Berman 认为实时口译是语音交互的有价值用途，但简短示例不能证明它在不同语言、口音或困难场景下的翻译质量。

Be My Eyes 示例为视障人士描述视觉画面，包括地标、鸭子和出租车。Berman 认为响应速度对无障碍很重要。这类演示不能作为准确导航的保证，也不能替代已有的出行辅助工具。

一通排演的客服通话中，助手为故障手机申请换货。Berman 设想将打电话或退货委托给助手，同时担心诈骗者和垃圾信息发送者利用类似工具。这个例子是演示，并非与独立客服人员进行的真实测试。

最后，Berman 浏览其他探索性示例：把照片变成漫画肖像、总结讲座，以及生成用于 3D 重建的多个视图。他思考其中涉及的上下文和能力，并期待获得语音模式后亲自测试。