2023 年 9 月 AI 新闻：ChatGPT 视觉、Meta AI 与 Mistral 7B

摘要

30 秒看懂

在这期 2023 年 9 月 29 日的新闻回顾中，Matthew Berman 讨论 OpenAI 的图像和语音功能、Meta 的助手与硬件、Mistral 7B，以及 Amazon 计划投资 Anthropic 一事。他还谈到机器人、创作者工具、政府技术和当时尚未发布的 Gemini。视频中的产品访问情况、价格和报道反映的是当时的历史背景，并非当前的可用情况。

1OpenAI 的图像与语音公告Berman 介绍 DALL·E 3、恢复的浏览功能，以及 ChatGPT 新增的图像和语音交互。这些功能当时正在 2023 年推出或逐步开放。
2Meta 助手与硬件Meta 宣布推出助手、角色聊天、图像工具和智能眼镜；Berman 还讨论了隐私与 Quest 3。
3Mistral 7B 的基准测试模型发布方报告了有竞争力的基准结果，并以 Apache 2.0 许可证发布该模型。这些比较不能证明它在所有实际任务中的表现。
4Amazon 与 AnthropicAmazon 宣布与 Anthropic 建立战略合作，投资最高可达 40 亿美元，并由 AWS 担任 Anthropic 的主要云服务提供商。
5安全、创作者与 GeminiBerman 讨论量子计算、YouTube 新创作者工具，以及关于 Google 即将推出 Gemini 模型的报道。

要点建议

OpenAI 宣布逐步推出 ChatGPT 图像和语音功能，同时介绍 DALL·E 3 并恢复浏览功能。
Meta 推出了 AI 助手、角色聊天和创意功能，还发布了新款智能眼镜与 Quest 3 头显。
Mistral 发布 7B 模型及基准比较；Berman 提醒，基准成绩不一定能预测实际表现。
Amazon 宣布对 Anthropic 的投资最高可达 40 亿美元，而非当时已完成 40 亿美元投资。
Berman 对 AI 硬件、未来 Gemini 功能和量子计算的讨论包含报道或预测，并非已经确定的结果。

主题AI History OpenAI Multimodal AI Open-weight models Generative media

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

OpenAI 的 9 月公告

Berman 回顾 DALL·E 3、浏览、图像输入、语音及语音翻译。他还谈到一个 AGI 玩笑和未经证实的硬件合作讨论。

离开一周后，我回来看到 2023 年 9 月满满一周的 AI 新闻。OpenAI 和 Meta 宣布了新功能，Amazon 计划进行一笔重大 AI 投资，Tesla 展示了 Optimus，Microsoft 则将 Copilot 引入 Windows。

OpenAI 介绍了新一代图像生成器 DALL·E 3。从最初的样本来看，我认为它的风格多样性和相较 DALL·E 2 的明显进步令人印象深刻，尤其是其中可读的文字。OpenAI 还将 ChatGPT 描述为协助构思图像提示词的伙伴；我与 Midjourney 的比较只是早期印象，并非受控测试。

OpenAI 表示，公司与红队测试人员合作，并推出措施应对公众人物、有害偏见等风险。推出时间很重要：虽然我说 DALL·E 3 已向 Plus 和 Enterprise 用户开放，但 OpenAI 宣布它在 ChatGPT 中可用的日期是 2023 年 10 月 19 日，晚于本期视频。

OpenAI 停用早期版本后，浏览功能正在回归 ChatGPT。我推测，展示完整网页内容可能引发了版权顾虑；这是我的解释，并非公司的公开说明。网站所有者可以通过 robots.txt 表明对爬虫访问的偏好，但浏览功能并不意味着可以不受限制地访问所有网站。

OpenAI 还宣布 ChatGPT 可以接收图片并进行语音对话。在自行车示例中，用户分享照片，询问如何降低车座；助手作出回答并帮助识别工具。OpenAI 当时说会逐步向 Plus 和 Enterprise 用户推出，而非立即向所有人开放。

幻灯片 1 / 4ChatGPT 图像输入示例演示使用一张自行车照片，请求帮助降低车座。

移动应用的语音模式可以使用与配音演员合作开发的声音朗读回答。Spotify 也在试点播客语音翻译，用原说话人的合成声音说出其他语言。我设想这能帮助创作者触及其他语言的观众，同时也认识到这只是试点，并非普遍可用。

Sam Altman 似乎在 Reddit 上声称 OpenAI 已实现 AGI，随后澄清自己是在开玩笑。我认为这个玩笑欠妥，因为读者可能误以为那是真正的公告；它并不能证明 AGI 已经实现。

还有报道称，设计师 Jony Ive 正与 Altman 及 SoftBank 的 Masayoshi Son 讨论一个 AI 硬件项目。我提到 10 亿美元，但当时的报道说的是正在讨论的潜在融资，而不是已经筹得的资金。设备本身和各方最终承诺在当时都没有得到确认。

机器人与 Meta 的 AI 产品

Tesla 演示 Optimus，Meta 则宣布推出助手、创意工具、智能眼镜和 Quest 3。Berman 思考隐私与头显定价问题。

Tesla 展示了一段更新的 Optimus 视频，包括手臂和腿部校准、积木分类以及单腿平衡。考虑到该项目历史较短，我认为进步令人印象深刻，而 Boston Dynamics 从事机器人研究的时间要长得多。经过剪辑的公司演示不能证明机器人在无限制环境中的表现。

幻灯片 2 / 4Tesla Optimus 平衡演示Tesla 的视频展示机器人在演示环境中单腿保持平衡。

Meta 宣布为 WhatsApp、Messenger 和 Instagram 推出测试版助手，并计划将其引入 Quest 和智能眼镜。Meta 表示，其模型借鉴了 Llama 2 技术，能够通过与 Bing 的搜索合作获取及时信息，也能生成图像。公司还介绍了 28 个角色式 AI 体验，使用名人形象并各有不同的人设。

Meta 介绍了 Emu 图像生成技术，用于贴纸等功能，并描述了 Instagram 中更换背景等图像编辑功能。公司还讨论了为 AI 生成或编辑的图像添加标记。我支持清楚标注，因为人们应当能够识别合成内容。

新款 Ray-Ban Meta 智能眼镜可以用于拍照、直播、听音乐、打电话和使用 Meta AI。我喜欢它看起来像普通眼镜，但当摄像头变成可穿戴设备时，我也担心隐私问题，尽管许多人的口袋里已经有带摄像头的手机。

Meta 还介绍了 Quest 3，其处理能力、分辨率、音效和外形都有改进。我对 Apple 即将推出的 Vision 头显感到兴奋，尽管尚未找到 VR 的日常用途。Quest 3 起售价为 499 美元，约为 Vision Pro 公布售价 3,499 美元的七分之一；我认为这些价格反映了不同的市场策略。

Mistral、Amazon 与创意软件

新闻回顾转向报道中的 Mistral 7B 基准结果、Amazon 与 Anthropic 的合作及 Alexa 计划，随后介绍 Leonardo 的 Elements 和 Windows Copilot。

幻灯片 3 / 4Mistral 7B 的基准测试声明发布幻灯片展示开发者在所选基准上与 Llama 模型的比较。

Mistral 以 Apache 2.0 许可证发布了 Mistral 7B。其发布报告称，这个拥有 73 亿参数的模型在报告的基准测试中超过 Llama 2 13B，在许多测试中超过 Llama 1 34B，编程表现也接近 Code Llama 7B。这些是开发者在选定评测上的比较；我提醒，基准成绩并不总能转化为实际表现。

Amazon 与 Anthropic 宣布战略合作：Amazon 将投资最高 40 亿美元以获得少数股权，AWS 将成为 Anthropic 的主要云服务提供商。Claude 当时已通过 Amazon Bedrock 提供，双方还计划支持定制和部署。我所说的 40 亿美元投资应理解为公告中的最高金额，而不是当时已经全部投入的金额。

Amazon 还介绍了为 Alexa 开发的新生成式 AI 模型，针对语音、实时信息和智能家居使用进行优化。公司讨论了更自然的对话交互和上下文信号，包括在受支持场景中使用视觉线索；这些是产品计划，并不能证明所有能力当时已广泛开放。

Leonardo.Ai 推出了 Elements，称它可以在图像生成过程中组合风格与模型，包括基于 LoRA 的效果。我很早就开始关注这家规模较小的竞争者，也喜欢它的界面；示例风格包括玻璃、钢铁和巴洛克等。

Microsoft 当时正在 Windows 11 中逐步推出 Copilot，用作回答网络问题、协助创意工作和操作部分 Windows 环境的助手。我还没有亲自试用，但计划尽快尝试，因此这里的介绍依据的是公告，而非实际体验评估。

政府技术与创作者工具

Berman 讨论 Starshield、报道中的 CIA AI 工具、量子计算和 YouTube 的创作者公告，并介绍一段 AI 演唱会视觉作品。

在 AI 之外，SpaceX 获得了一份美国太空军 Starshield 服务合同，内容包括卫星通信、相关设备和网络管理。我还提到一则报道：CIA 正在开发 AI 工具，帮助分析人员处理公开信息；当时可获得的细节和发布时间信息都很有限。

量子计算最终可能影响物流、医疗和网络安全等领域，包括某些加密方式。我把量子比特描述为能计算无限种结果，这过于简化了：量子算法针对特定问题利用量子效应，并不意味着能够无限制地计算并读取每一个答案。

YouTube 宣布了多项创作者工具，包括用于 Shorts 的 Dream Screen 背景、YouTube Create 编辑应用、AI 辅助创意、配音和音乐搜索。作为创作者，我很想试试这些功能。我提出未来可能也会加入 AI 生成音乐，但那是推测，并非这里所介绍的已宣布功能。

幻灯片 4 / 4YouTube Dream Screen 公告幻灯片介绍计划推出的 Shorts 功能：根据提示词生成图片和视频背景。

在本周 AI 视频环节，我介绍了一段演唱会视觉作品：巨型屏幕上的骷髅形象不断快速变化。画面的规模让我印象深刻，我也想象着伴随音乐和现场人群观看它的体验。

有关 Gemini 的报道

Berman 以关于 Google 当时尚未发布的 Gemini 模型的报道和预期收尾。那些预期能力尚未成为经过验证的产品功能。

最后，有报道称 Google 即将发布 Gemini，并正在让少数公司进行测试。我讨论了传闻中的多模态功能，以及与 Google 服务、编程和图像生成可能存在的联系，但这些只是 2023 年 9 月的预期，并非已经发布的产品中经过验证的能力。我还提到 Google 在 Transformer 研究中所起的作用；这项研究推动了当前这一轮 AI 发展。