回看 2023 年的 GPT-4 视觉、3D 与机器人

2023 年 3 月，主讲人回顾早期 GPT-4 视觉演示，以及文本生成 3D、语音识别和机器人进展。例子和预测具有历史时效性，不代表当前产品能力。

他从图像理解例子开始，包括识别视觉挑战。少量演示不能证明稳定性能，也不能成为绕过安全措施的理由。

他提到医学图像例子和一篇医学问答评测论文。片中说该例子没有给出完整诊断；基准结果不能证明临床可靠性，也不能替代医疗。

其他演示包括理解幽默、菜单和为视障人士描述内容。实际用途和风险取决于具体任务、系统和用户。

主讲人讨论读取图像中的文字和图表，并以视觉问答基准为例。基准只是在特定数据集和评测方式下的一项测量。

他比较当时模型和人类在该基准上的分数。这并不能证明模型在所有任务上的视觉理解达到人类水平。

视频随后介绍通过语言指令创建或编辑 3D 内容，包括生成代码和其他公司展示的工具。

一个研究例子把语言相关信息嵌入重建的 3D 场景，让用户搜索物体或概念。主讲人也指出识别并不完美。

话题转向语音转文字工具及其报告的基准比较。结果取决于数据集、语言和评估条件。

主讲人回顾早期关于 AI 和专业任务的预测。通过考试或生成答案，与安全、合格地从事专业工作是两回事。

他介绍 OpenAI 早期机器人研究及其对 1X 的投资，作为对实体系统感兴趣的例子。公司计划和投资不能证明机器人当前的能力。

其他演示展示不同机器人形态与任务。主讲人看好语言、视觉、音频和实体行动的进展相互结合，同时承认实际部署仍然困难。