初探 Gemini Advanced 与 Ultra 1.0：功能解析和实际测试

摘要

30 秒看懂

Matthew Berman 介绍 Google 在 2024 年 2 月推出的 Gemini Advanced 和 Ultra 1.0，以及订阅与集成功能，随后尝试生成贪吃蛇游戏、解答推理题和识别图片。这次简短的非正式测试结果好坏参半：部分推理题回答正确，但游戏和首次图像描述失败。

1Bard 更名为 GeminiGoogle 将其聊天机器人更名为 Gemini，并推出使用 Ultra 1.0 的 Gemini Advanced，同时开始在移动设备上推出相关功能。
2最初的付费计划Google One AI Premium 上线时在美国每月收费 19.99 美元，提供两个月试用和 2 TB 存储空间。
3贪吃蛇游戏测试失败最初生成的 Python 游戏没有按预期运行，后续修复只打开了一个空白窗口。
4逻辑测试结果不一Gemini 答对了晒衣服和球的位置问题，却没能答对 Berman 的杀手谜题和回复字数统计任务。
5图片描述因草稿而异第一份草稿凭空说图片中有 LaMDA 文字；第二份草稿则识别出了一只风格化的美洲驼。

要点建议

2024 年 2 月，Google 将 Bard 更名为 Gemini，并推出使用 Ultra 1.0 模型的 Gemini Advanced。
最初的 Google One AI Premium 计划在美国每月收费 19.99 美元，包含 2 TB 存储空间，并提供两个月试用。
Gemini 的扩展程序可连接部分 Google 服务，可能构成产品优势。
Berman 生成的贪吃蛇游戏即使经过一次后续修正仍未成功运行。
模型答对了部分推理题，但也有失误；不同草稿对同一图片的描述并不一致。
少数非正式提示词测试不足以确定它与 GPT-4 的整体排名。

主题Gemini Foundation Models 编程智能体 Benchmarks Multimodal AI

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

Gemini Advanced 发布

Berman 介绍 Google 的新产品并播放发布片段。他解释 Bard 更名以及 Gemini Advanced 和 Ultra 1.0 的区别。

Google 推出了使用 Ultra 1.0 的 Gemini Advanced，我认为它有机会挑战 ChatGPT。我想先看看 Google 的特色功能，然后测试编程和推理提示词，其中包括我常用的测试：模型能否一次就做出贪吃蛇游戏。这是对 2024 年 2 月发布产品的初步体验，并非全面评测。

Bard 现在更名为 Gemini。产品名称可能有些令人困惑：Gemini Advanced 是提供 Ultra 1.0 模型访问权限的付费产品，而已有的 Gemini 产品使用 Pro 1.0。Google 表示 Ultra 1.0 在复杂编程、逻辑推理、理解细致指令和创意协作方面能力更强；我想测试其中一些说法。

Google 表示计划增加更多多模态功能、交互式编程和更深入的数据分析。上线时，美国的 Google One AI Premium 计划每月收费 19.99 美元，与当时的 ChatGPT Plus 价格大致相同，提供两个月试用和 2 TB 存储空间。Google 还表示，订阅用户之后可以在 Gmail、Docs、Slides 和 Sheets 中使用 Gemini；这些功能此前叫 Duet AI。

价格、移动端与集成

最初的订阅包含存储空间和试用，Google 还计划集成 Workspace。Berman 查看移动端访问方式和连接 Google 服务的扩展程序。

幻灯片 1 / 5最初的 Google One AI Premium 计划Google 的发布公告列出了初期试用、月费和 2 TB 存储空间。

Google 当时正在推出专门的 Android 应用，并表示未来几周将在 iOS 的 Google 应用中提供 Gemini。Android 上的可选浮层可以提供与当前内容相关的帮助，包括讨论图片。我想知道 Gemini 是否最终会取代 Google Assistant，但这只是我的猜测，并非官方宣布的计划。

订阅之后，我在一个让我联想到 ChatGPT 的界面中选择了 Gemini Advanced。扩展程序页面提供连接 Google Flights、Hotels、Maps、Workspace 和 YouTube 的选项。我认为这些集成可能是一个重要优势，因为它们可以将相关 Google 服务以及用户启用后授权的个人内容带入使用体验；具体能连接什么、拥有什么权限都很重要。

幻灯片 2 / 5Gemini 扩展程序界面显示了与 Flights、Hotels、Maps、Workspace 和 YouTube 的连接。

编程与推理测试

在演示的尝试中，Gemini 未能生成可运行的贪吃蛇游戏。几道简单逻辑题的结果也好坏参半。

第一次测试时，我让它用 Python 制作贪吃蛇游戏。回复出现得很快，但我把代码粘贴进 Visual Studio Code 后发现“screen”没有定义，游戏也没有正常打开。我告诉 Gemini 这个错误和没有可见结果的问题；它提出了包括添加循环在内的修改，但修改后的程序只打开了一个空白窗口。

幻灯片 3 / 5贪吃蛇游戏测试按照建议修改后，生成的 Python 程序打开了一个空白游戏窗口。

接下来我问：如果把 5 件衬衫铺在太阳下需要 4 小时晒干，那么 20 件需要多久？Gemini 正确回答约 4 小时，前提是它们都能在类似条件下同时晾晒。对于一个要求统计自身回复字数的问题，它建议使用字数统计工具而没有直接回答；在我的对比中，GPT-4 也给出了错误的数字。

幻灯片 4 / 5杀手谜题的回答画面中的回答减去了遇害者，却忽略了进入房间并杀人的人。

在杀手谜题中，房间里原有 3 个杀手，有人进入房间并杀死其中一人。Gemini 回答还剩 2 个杀手，忽略了进入者也成为了杀手；按照题目的预期理解，房间里仍有 3 个活着的杀手。随后它答对了一道视角推理题：John 认为球仍在他放置的盒子里，而 Mark 知道自己把球移到了篮子里。

界面功能与图像识别

Berman 探索修改回复、基于搜索的核对和其他草稿。图像测试的初次描述有误，第二份草稿则更加准确。

界面提供控制选项，可以让回复变短、变长、更简单、更随意或更专业，而无需重写提示词。一个二次核查按钮会搜索 Google，用户也可以查看其他草稿或让系统朗读回复。我喜欢这种灵活性，不过哪些功能在实际使用中真正有用，仍值得观察。

幻灯片 5 / 5首次图像描述有误Gemini 声称美洲驼和 Meta 标志的图片中有 LaMDA 文字，实际上并不存在。

在图像测试中，我上传了一张包含风格化美洲驼和 Meta 标志的图片。第一份草稿错误地将它描述为关于 Google 的 LaMDA 的图片，还编造了画面中不存在的文字。第二份草稿识别出一只蓝白色的美洲驼，与画面更接近。我的简短初步体验让我欢迎这种竞争，但仅凭这几个例子，我还不确定 Gemini Advanced 的整体表现是否优于 GPT-4。