测试 Dolphin 2.2 Yi 34B 的编程与推理能力

摘要

30 秒看懂

Matthew Berman 介绍 01.AI 的 Yi 模型系列，并测试 Eric Hartford 的 Dolphin 2.2 Yi 34B 的 GPTQ 量化版本。模型能完成部分简单写作和结构化输出任务，却未通过他的贪吃蛇、算术和空间推理测试；这些数量有限且带有主观判断的提示词并非受控基准评测。

1Yi 与 Dolphin01.AI 发布了 6B 和 34B 两种规模的 Yi 模型；Berman 测试的是 34B 模型经 Dolphin 微调后的量化版本。
2本地配置他用 ExLlamaV2 加载 TheBloke 的 GPTQ 模型，并将界面中的一个参数设为 2,048。
3贪吃蛇游戏失败生成的 Python 代码缺少定义或定义错误，即使尝试修复仍无法运行。
4有争议的晒衣服答案模型算出 16 小时，Berman 在顺序晾晒的理解下接受了这个答案；但题目描述 5 件衬衫同时铺开，并没有确立顺序晾晒的假设。
5空间推理失误模型认为倒扣的杯子被移走后，弹珠也进入了微波炉，忽略了弹珠可能仍留在桌面上。

要点建议

测试使用的是 Yi 34B 经 Dolphin 2.2 微调后的 GPTQ 量化版本，而非基础模型本身。
01.AI 还提供了单独的 200K 上下文 Yi 版本，但这并不能说明本次测试配置使用了 200K 上下文。
在 Berman 的运行中，贪吃蛇代码缺少导入，还存在未定义或拼写错误的名称。
模型对一些简单提示词回答得不错，但在运算顺序和空间推理上犯了错。
Berman 的评分属于非正式判断，例如要求恰好 50 词的诗实际只有 36 词，他仍给了通过。
量化和少量提示词限制了人们对全精度模型或整体性能的判断。

主题Open-weight models Foundation Models Benchmarks Quantization 编程智能体

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

Yi 模型与测试配置

Berman 介绍 01.AI 的 Yi 模型和 Eric Hartford 的 Dolphin 微调版本，并在本地界面加载量化模型。

01.AI 发布了 Yi 基础模型系列，以英文和中文训练，包含 60 亿和 340 亿参数版本。另一个独立的 Yi 版本提供 20 万 token 的上下文窗口。开发者图表显示，它相对于 2023 年末的几款模型，包括 Llama 2 70B，取得了不错的成绩，但这些数字仅适用于所展示的基准测试和设置。

Eric Hartford 用 Dolphin 2.2 数据对 Yi 34B 进行了微调。我测试的是 TheBloke 的 GPTQ 量化版 Dolphin 2.2 Yi 34B，因为我在文本生成 Web 界面中加载未量化模型时遇到了困难。我预计差异不大，但量化可能改变输出，因此本次测试不能确定全精度模型会如何表现。

幻灯片 1 / 4加载量化的 Dolphin Yi 模型界面显示本地测试选用了 TheBloke 的 GPTQ 模型。

下载模型后，我刷新列表、选择模型，并使用 ExLlamaV2 加载。我将一个参数设为 2,048，并使用 Dolphin 提示词模板。基本问候可以正常回应，模型还生成了一个打印 1 到 100 的 Python 脚本，看起来是正确的。

编程、写作与拒答测试

模型完成了一个基础脚本，却没能生成可运行的贪吃蛇游戏。Berman 还测试了写作、事实回忆，以及模型是否拒绝若干有害请求。

接下来我要求它用 Python 制作贪吃蛇游戏。生成速度并不特别快，运行代码时也失败了：它没有导入 pygame。即使我补上导入，也发现了其他错误，包括拼写错误的变量和未定义的名称。我停止尝试修复，将这个例子判为失败。

模型写了一首关于人工智能的诗，我很喜欢，但它只有 36 个词，而不是要求的 50 个；尽管没有满足约束，我还是宽松地判它通过。它还写出了一封合格的辞职邮件，并正确回答 1996 年的美国总统是 Bill Clinton。这些只是单项检查，并非系统评测。

我用几个有害请求测试它的拒答行为。它回答了其中一个，但我认为答案不可靠；它拒绝了其他请求。我因此认为，这个模型并非始终不会拒答；少量提示词不足以全面描述它的行为或安全措施。

逻辑、数学和结构化输出

晾晒、排序与算术问题的结果好坏参半。模型还尝试了摘要和 JSON 生成。

在晒衣服问题中，5 件衬衫铺在太阳下需要 4 小时晒干，我问 20 件需要多久。模型将 240 分钟除以 5，再乘以 20，得到 16 小时；我在顺序晾晒的理解下接受了这个答案。但题目说最初的衬衫是一起铺开的，并没有确立顺序晾晒；如果 20 件都在相似条件下同时晾晒，答案约为 4 小时。

幻灯片 3 / 4晒衣服问题的回答模型假设时间与衬衫数量成正比，计算出 16 小时。

当 Jane 比 Joe 快、Joe 比 Sam 快时，模型正确推断 Sam 不比 Jane 快，也正确回答了 4 + 4。然而在 25 − 4 × 2 + 3 这道题中，它先减法后乘法；即使提醒它遵守运算顺序，结果仍然错误，正确答案是 20。饮食计划请求的回答看起来不错，但它没能正确统计自己回复的字数。

模型也没答对我的杀手谜题，忽略了进入房间并杀人的那个人。让它用短横线总结一段关于核聚变的文字，以及生成描述三个人的 JSON 时，它表现更好。虽然我不喜欢它的格式，但我认为生成的 JSON 有效。

假设情境与空间推理

Berman 尝试了一道不同大小动物的奇特比较题和一道倒扣杯子问题。他认为这一配置的表现比预期差。

对于“一群鸭子大小的马”与“一只马大小的鸭子”之间的假设选择，模型先提醒不要打斗，然后比较单个大型动物和许多小型动物的风险。我接受了这个答案。最后，在一道弹珠被倒扣的杯子盖住、杯子随后被移入微波炉的空间题中，它说弹珠也进了微波炉；我判它错误，因为杯子抬起时弹珠可能留在桌上。总体来说，这个配置没有我希望的那么出色；在我的测试中，我认为 Dolphin Mistral 表现更好。