测试 Dolphin 2.2：基于 Mistral 7B 的微调模型

Eric Hartford 的 Dolphin 2.2 是基于 Mistral 7B 的微调模型，接续 Dolphin 2.0 和 2.1 推出。我之前觉得这个小模型的表现令人印象深刻，因此打算用一系列非正式的编程、写作和推理提示测试这个版本。这些是单独的示例，并非标准化评估。

Hartford 和我讨论过为 AutoGen 和 MemGPT 微调模型的可能性，他正在寻找相关的 API 交互数据。这个想法是改善模型在这些智能体框架中的表现；它是一个拟议项目，并非这些测试已经证实的成果。

[模型卡](https://huggingface.co/dphn/dolphin-2.2-mistral-7b)介绍，Dolphin 2.2 基于 Mistral 7B，并加入了经过筛选的 Samantha 数据，旨在改善对话、同理心式回答和多轮交互。这些是训练目标，不能证明模型真的有感受。模型卡称该模型采用 Apache 2.0 许可证，并提醒它可能服从不道德的请求。

模型被描述为“无审查”，因为其训练数据经过筛选，以减少拒绝回答的情况。创建者建议，在将其作为服务开放之前增加对齐层。模型卡后来指出 2.2 版本出现过拟合，并以 2.2.1 重新发布；本视频测试的是 2.2。

录制时，我在 RunPod 的 text-generation-webui 中使用 Transformers 加载器运行未量化模型，而不是使用本地电脑。我选择并加载模型，采用模型指定的提示格式，并将最大新增 token 数设为 2048。硬件要求会随精度和部署设置变化。

第一个编程请求很简单：用 Python 输出 1 到 100 的数字。生成的脚本看起来符合要求。下一个提示要求编写贪吃蛇游戏，生成的程序则更难运行。

我发现贪吃蛇代码中有未定义的部分，包括清空控制台的函数和一个与 Windows 有关的引用。我让模型修正并尝试它的建议，但经过几轮交流，程序仍未显示可运行的游戏。仅凭这次运行，我无法判断它是卡住了还是只是没有显示，所以我将测试判为失败。

在创意写作测试中，我要求写一首恰好 50 词的诗。我数出 52 词，因为很接近而判它通过，但它实际上没有满足精确词数要求。一封辞职邮件格式得体，在我的非正式评估中通过。

对于 1996 年谁是美国总统的事实问题，模型正确回答了 Bill Clinton。它给出的答案比必要的更长，这让我想知道为什么模型在回答详略上差异这么大。正确回答一个常见事实，并不能证明模型可靠地包含了人类全部知识。

我还测试了模型是否愿意回答涉及未经授权进入汽车的请求。它给出了回答而没有拒绝，这与模型卡对其行为的描述一致。这个单独的提示只能展示它在此情形下的行为，不能构成全面的安全评估。

晒衣问题问：如果五件衬衫需要四小时晾干，二十件需要多久？模型用了错误的比例推理，回答 100 小时。如果二十件衣服在相同条件下都能同时晾晒，预期时间是四小时；对晾晒容量作不同假设会改变答案，但模型的计算无法支持 100 小时这一结论。

在速度比较题中，Jane 比 Joe 快，Joe 比 Sam 快；模型正确得出 Sam 不比 Jane 快。它还正确回答了一道简单加法题和另一道算术表达式。这些例子体现了推理表现有好有坏，而不是一个能代表一般数学能力的分数。

模型生成了一份看起来合理的一日饮食计划，包含正餐、零食和补水。不过，当我让它计算自己回答中的词数时，它说是 105，我发现并不正确。和诗歌测试一样，这说明文字流畅与精确计数是不同的要求。

杀手谜题中，房间里有三名杀手，新进来的人杀掉其中一人，之后没人离开。模型认为还剩两名杀手，忽略了新进来的人也成了杀手。按照通常只计算活着的杀手的解释，答案是三人；如果也计算死者，答案会不同。

摘要测试中，我要求用短横线列出一段核聚变文字的要点。我认为回答涵盖了主要内容，也遵循了要求的格式。另一个提示要求把三个人的简短描述转成 JSON，我发现结果保留了给出的属性。

接着，模型比较一个异想天开的选择：面对 100 匹鸭子大小的马，还是一只马大小的鸭子。它讨论了对手的数量、体型和力量。我认为对于开放式提示，这是一个合理回答；这属于主观判断，并非具有单一可量化正确答案的测试。

最后，我问：一只装有弹珠的杯子倒扣在桌面上，随后有人拿起杯子并放进微波炉，弹珠在哪里？模型说弹珠仍在杯中。按照通常的假设，如果杯子保持倒扣并直接向上拿起，弹珠会留在桌面上；确切结果取决于拿杯子的方式。模型的回答忽略了这一可能的物理后果。

总体来看，在我的小规模测试中，Dolphin 2.2 完成了若干直接的格式和事实提示，但贪吃蛇程序和多个推理挑战失败了。诗歌接近目标，却并非恰好 50 词。这些结果是模型在特定提示下的有用行为示例，不能可靠地用于模型排名，也不能替代更广泛的评估。