测试 Google Gemma 2 27B：编程、推理与格式

Google 于 2024 年 6 月发布了 90 亿和 270 亿参数的 Gemma 2。在这期 2024 年 7 月的视频中，我测试 27B 指令微调模型。Google 依据 Gemma 许可发布模型权重，该许可包含条件和使用限制；称模型为开放模型，并不意味着它没有许可条款。

Vultr 赞助了这次演示，并提供我用来运行未量化模型的云端 GPU 环境。我将 Open WebUI 前端连接到托管端点。Google 报告称，27B 模型可以在某些大型加速器上以全精度运行；硬件需求取决于精度、上下文和部署方式，宣传中的性能比较并不能独立证明其普遍排名。

Google 的发布材料在特定推理、数学和编程测试中，将 Gemma 2 与包括 Llama 3 在内的模型比较。考虑到其规模，我认为 27B 的结果很有前景。这些分数反映的是 2024 年特定基准和评估设置，并不能保证它在所有任务上都能与更大的模型匹敌。

我首先要求一个打印 1 到 100 的 Python 脚本；模型给出了代码和解释。随后我要求制作贪吃蛇游戏。网页界面的第一次运行缺少所需模块，因此我把代码复制到 VS Code 中运行；显示出的游戏支持移动、食物、计分，以及蛇撞墙时失败。

我要求两项修改：蛇穿过墙壁时从另一侧出现，以及进食时显示动画。演示中的穿墙循环功能有效。我没有看到要求的动画，尽管游戏曾短暂卡住，因此这个例子展示的是部分成功，而非两项功能都经过独立确认。

模型拒绝了我提出的违法行为指导请求。我将这次拒绝视为观察到的一种安全行为，而非模型在所有情况下都受审查、或仅凭一个提示就能评估其安全性的证据。接下来我转向推理测试。

在一个晾晒衣服的问题中，模型说如果条件和晾晒空间保持相近，二十件衬衫可能与五件一样需要四小时。我认为这个有条件的解释合理。答案取决于空间充足和空气流通等假设，并非不受环境影响的物理定律。

对于算式 25 − 4 × 2 + 3，模型先乘后加，得到 20。它还为酒店房费加 8% 房间税、再加一项单独不征税费用的问题给出了预期表达式。这些都是个别例子，不是全面的数学评估。

一个回答长度问题失败了：模型说自己的回答有十个词，但画面中的回答更长。在房间里的杀手谜题中，它减去一名受害者，却忽略了进入者也成为杀手。预期人数需要假设哪些人还活着、进入者此前是否已经是杀手；观察到的关键错误是模型忽视了进入者的身份。

在玻璃杯和弹珠谜题中，模型说杯子倒扣在桌上、随后被拿起放进微波炉后，弹珠仍在杯中。按照通常假设，即拿起倒扣的玻璃杯会让弹珠留在桌上，我判定这个回答错误。接触情况和拿起杯子的方式等细节可能影响实际结果。

我要求写十个以“apple”结尾的句子，数出来只有七个符合条件。在这个例子中，要求模型检查工作也没有修复结果。这些失败表明，在我的少量测试中，模型遵循具体约束存在困难，但不能据此确定普遍失败率。

对于五十个人挖一个坑的问题，模型给出约五小时的有条件回答。我勉强判定通过，因为在受限空间内，工作不一定能平均分配。题目缺少尺寸、工作条件和协调方式等信息，因此无法根据提示得出唯一数值答案。

最后，我要求用 JSON 提供 Python 解法。模型将程序输出作为 JSON 返回，而不是按我想要的结构嵌入代码；更明确的重试仍未符合我的预期格式。我将这次尝试判为失败，同时承认最初的措辞存在解释空间。

总体而言，我认为编程演示令人鼓舞，而逻辑和格式测试的表现不够稳定。这组少量非正式样本适合展示具体行为，不能用来证明整体能力或确定当前排行榜位置。Vultr 赞助并托管了这次测试，阅读我的评价时应考虑这一点。