Google I/O 2024：Gemini、Project Astra 与 Google 产品中的 AI

在 Google I/O 2024 上，CEO Sundar Pichai 将 Gemini 描述为能够处理不同类型信息的模型。他说已有超过 150 万开发者在使用这些模型，并介绍了 Search、Photos、Workspace、Android 和 Gemini 应用中的示例。这段视频是 Google 2024 年 5 月演讲的剪辑集锦，公告和承诺日期都属于历史信息。

Pichai 表示 Ask Photos 将于当年夏天推出，后续会加入更多功能。他更广泛的观点是，多模态模型能够跨不同格式关联信息，而不是将每项输入视为孤立任务。

Gemini 1.5 Pro 的百万 token 上下文窗口开始向使用 35 种语言的 Gemini Advanced 用户开放。Pichai 还宣布将窗口扩大至 200 万 token。Google 的开发者公告将 200 万 token 版本列入候补名单，因此不应理解为当时已全面开放。

Josh Woodward 使用牛顿定律材料演示早期 NotebookLM 音频功能。两个生成声音之间的对话解释力和运动；随后 Woodward 为儿子请求一个篮球例子。屏幕注明音频是预先生成的，这只是演示，不能证明交互总能以这种方式运作。

Pichai 将这类交互与混合输入和输出格式的更广泛愿景联系起来。随后他将 AI 智能体定义为具有推理、规划和记忆能力、能够跨软件代表用户完成多步骤任务的系统。

他的购物例子是假设性的：未来智能体可能不需要用户手动退回不合脚的鞋，而是从邮件中找到收据和订单号、填写退货表并安排取件。这个例子说明了目标工作流程，而非宣布已有完成的产品。

Google DeepMind CEO Demis Hassabis 介绍 Gemini 1.5 Flash，称它比 Pro 更轻量，面向延迟更低、成本更低的应用，同时保留多模态和长上下文能力。其设计取舍在于高效的大规模服务，并非声称一个模型适合所有任务。

Hassabis 随后介绍 Project Astra，这是 Google 为更通用助手研发的原型。目标是让智能体理解并记住所见内容、回应不断变化的环境并自然对话。Google 播放了一段分为两部分的视频，并称每一部分都以一次实时拍摄完成。

第一部分中，演示者用摄像头观察房间。原型识别出扬声器和高音单元，为蜡笔创作头韵句，描述屏幕上的代码，并猜测位于伦敦 King’s Cross 一带。当被问到在哪里看到用户的眼镜时，它记起眼镜在一张靠近红苹果的桌子上。

演示继续展示一个系统图：Astra 建议在服务器和数据库之间加入缓存。它还回应绘画内容并提出乐队名称。这些精选示例展示了研究原型的方向，不能证明它在任意环境中都可靠。

一位 Google 演讲者介绍 Imagen 3，称其在照片真实感、细节、遵循提示词和减少视觉瑕疵方面有所改进。他说独立评估者在一些并排比较中更喜欢它，并邀请观众报名 ImageFX；开发者和企业访问也在计划中。偏好说法是 Google 对这些比较的描述，并非普遍排名。

Google 还介绍了与 YouTube 和艺术家共同打造的 Music AI Sandbox，用于探索专业音乐工具，包括生成器乐片段和迁移风格。演讲将其描述为开发中的创作工具，艺术家参与塑造其使用方式。

演讲者宣布 Veo，这是一个生成视频模型。Google 表示它可以根据文本、图像或视频提示生成 1080p 视频，遵循航拍或延时摄影等电影化指令，并通过提示词进一步编辑。播放的片段是精选演示，不能保证每个请求都能得到同样的结果。

Google 宣布了第六代 TPU Trillium。公司称其每芯片峰值计算性能比 TPU v5e 提高 4.7 倍，并预计 2024 年底提供云端访问；这一数字针对特定硬件比较，并不代表所有工作负载都会加速相同倍数。

Workspace 部分表示，Gemini 驱动的侧边栏计划于次月正式开放。Google 还强调自动语言检测和实时会议字幕扩展至 68 种语言，随后介绍 Gmail 移动端拟议的 Gemini 1.5 Pro 功能。

在屋顶维修示例中，演讲者打开一个很长的邮件串，用摘要卡找到承包商报价。她无需手动搜索各封邮件，而是让 Gemini 按价格和可用时间比较报价；展示的回复汇集了不同邮件串中的细节。

演讲者选择一位承包商并展示上下文智能回复。Gemini 根据邮件串提供回复选项，让她在发送前预览完整草稿。Google 表示这些 Gmail 功能将于当月开始向 Labs 用户推出；这是 2024 年的发布计划，不代表当前可用情况。

展望 2025 年及以后，Google 展示了名叫 Chip 的虚拟队友原型。在 Google Chat 中，Tony 询问 I/O 故事板是否已获批准；Chip 搜索它被指定跟踪的对话并回答。演讲称，队友加入更多聊天、文件和邮件串后可以积累上下文，同时承认还有大量工作要做。

Gemini 应用演讲围绕文本、语音和摄像头输入来描述个人助手。Google 宣布 Gemini Live 将于当年夏末推出，提供更自然的语音对话和打断能力；它还计划将 Astra 的速度和视频理解能力带入应用。

Google 提议让用户在实时对话中打开摄像头，以便 Gemini 回应周围环境。它还介绍了 Gems：可重复使用的自定义指令，例如专门指导短篇小说写作的教练。Gems 当时被描述为将在未来几个月推出，受信任测试者已经开始试用。

Android 部分介绍了将 AI 引入操作系统的多年计划：更便捷的 AI 搜索、作为助手的 Gemini，以及用于更快、更注重隐私体验的设备端模型。演讲者关于隐私的说法描述的是 Google 的目标和架构，而非对所有数据处理方式的全面保证。

Dave 演示了系统级 Gemini：他在消息中收到一段匹克球视频。由于用户正在观看 YouTube，Gemini 提供了“询问此视频”操作。他询问两次落地规则后得到简短解释，YouTube 字幕是使用的信号之一。

接着他打开一份 84 页的匹克球规则 PDF。Gemini 提供“询问此 PDF”操作，回答有关旋转发球的问题并指向文档中的来源。演讲使用的是特定文档和示例；答案应与相关规则及版本核对，不能推广到所有形式的旋转。

为说明设备端诈骗检测，Google 编排了一通电话：有人冒充银行职员，要求 Dave 转账。Gemini Nano 在模拟电话中显示警告。这是拟议防护措施的演示场景，不是经过测量的诈骗检测准确率，也不保证能识别所有诈骗。

开发者部分中，Google 表示 Gemini 1.5 Pro 和新推出的 Flash 已在超过 200 个国家和地区提供预览。演讲者还讨论了视频帧提取、并行函数调用和上下文缓存；缓存计划于次月推出，以便更实际、更经济地重复使用长输入。

Gemma 家族被介绍为源自相关 Google 研究的开放模型，包括 20 亿和 70 亿参数版本，以及 RecurrentGemma 和 CodeGemma 等变体。Google 推出开放权重的视觉语言模型 PaliGemma，可用于图像描述、视觉问答和图像标注等任务；使用受到其许可证条款约束。

Google 宣布即将推出 270 亿参数的 Gemma 2，计划于 2024 年 6 月发布。演讲者说它针对 NVIDIA GPU 优化，可在 Vertex AI 的单个 TPU 主机上运行，并声称它能超过规模两倍以上的模型。这一舞台上的主张不能推出普遍基准结果或全面优势。

演讲以邀请开发者使用所宣布的工具进行构建结束。在整段集锦中，Google 交替展示了已开放的预览、计划推出的功能、经过编排的示例和研究原型；每一项都应放在其 2024 年原始背景下理解。