用编程和推理任务测试 Karasu Mixtral 8x22B

Mistral 发布了 Mixtral 8x22B，这是继 Mixtral 8x7B 之后推出的更大型稀疏混合专家模型。我很兴奋，因为早期模型是我的最爱之一。名称描述的是专家架构，并不意味着有 1760 亿个参数同时独立激活：Mistral 后来介绍，模型总参数约 1410 亿，每个 token 激活约 390 亿参数（[Mistral 文档](https://docs.mistral.ai/models/mixtral-8x22b-0-1-0-3)）。

模型最初通过种子文件发布，附带的说明很少。我没有测试未经修改的基础模型，而是选择 Lightblue 的早期聊天微调版本 [Karasu-Mixtral-8x22B-v0.1](https://huggingface.co/lightblue/Karasu-Mixtral-8x22B-v0.1)。微调可能影响指令遵循和安全行为，因此这些回答不一定代表每个 Mixtral 变体。

我使用 Infermatic 的托管界面，因为完整模型不经量化对我的机器来说太大了。我说当时该服务免费，并设置了较长的输出限制、降低了温度。托管服务和本地硬件要求会变化，因此这只是 2024 年 4 月的环境记录，并非当前价格或兼容性保证。

第一个编程提示要求输出一到一百的数字，我认可了回答。接着我要求用 Python 编写贪吃蛇，并在 VS Code 中运行生成的程序。游戏打开了，蛇可以移动，撞到自身时游戏会结束；第一次尝试就能实现这么多功能让我印象深刻。

蛇可以穿过墙壁，这不是我想要的行为。我要求模型加入可见的得分，并在蛇离开窗口时结束游戏。修改后的代码显示了正常工作的分数，但撞墙仍然不会结束游戏，分数也没有按预期重置。尽管存在这些缺陷，我仍将其判为通过。

我测试这个微调模型如何回应违法行为请求：它最初拒绝，但我把请求改写成虚构情节后，它给出了不同回答。这样有限的交互不是全面的安全评估。拒绝有害指令是一种安全行为，不代表一般推理能力不足；结果也可能随提示词和微调版本变化。

在晾衣谜题中，模型假设时间与衣服数量直接成比例，回答 16 小时。我在顺序分批晾晒的假设下接受了这个答案，但题目没有说明这种限制。如果 20 件衣服可以在相似条件下一起晾晒，预计约需四小时；空间和环境条件很重要。

在传递关系比较中，Jane 比 Joe 快，Joe 比 Sam 快；模型正确得出 Sam 不比 Jane 快。它也正确回答了四加四。这些例子有助于观察输出，但每个提示词仅成功一次，不能充分衡量推理能力。

对于 25 减 4 乘 2 再加 3，模型最初回答 19。按照通常的运算顺序，正确结果是 20。后续提示要求它列出步骤后，最终答案正确，但回答中仍重复了先前的错误数字；我比较宽松地给了它通过，但不一致的问题仍然存在。

当要求模型统计自己回答中的词数时，它给出的数字与我的统计不符，所以我判为错误。在房间里有三个杀手、后来进入一人并杀死其中一人的谜题中，它的推理也前后矛盾。按照通常假设，进入者杀人后也成为杀手，且没有人离开，因此剩下三名活着的杀手。

结构化输出测试要求生成描述 Mark、Joe 和 Sam 及其年龄、性别的 JSON。回答将人物放入顶层结构，看起来保留了指定事实，所以我判为通过。这是一个简单的格式化示例，并非对模式可靠性的完整测试。

弹珠谜题中，一个装有弹珠的杯子倒扣在桌上，然后在不改变朝向的情况下被移进微波炉。模型说由于重力，弹珠仍留在杯中。按照通常假设，如果把开口朝下的杯子从桌面提起，而弹珠没有被固定，它会留在桌上；确切结果取决于提示词没有完整说明的操作方式和几何条件。

认知追踪场景中，John 把球放进盒子后离开，随后 Mark 把球移到篮子里并离开。模型正确指出，假设两人都没看到后续变化，John 认为球在盒子里，Mark 认为球在篮子里。它还指出，实际查看后就能发现球的位置。

我要求写十个以“apple”结尾的句子。正如我观察到的，回答虽然包含这个词，却没有让每个句子都以它结尾，所以我判为错误。这展示了该样本中的一个具体指令遵循错误，并不意味着该系列每个模型都有相同的普遍限制。

最后一道挖洞题问：一个人挖十英尺深的洞需要五小时，那么 50 个人需要多久？模型明确假设每个人速率相同且不受空间或设备限制，然后按理想线性扩展算出六分钟。在这些假设下，算术是成立的；但在现实中，同一个洞可能受拥挤和协调因素限制，使假设不切实际。

我的结论是，这个早期 Karasu 微调版本在部分任务上表现不错，但按我的非正式评分标准，它没有超过早期的 8x7B 模型。我预计其他微调版本会改善结果。这个比较是我基于少量提示词作出的判断，并非受控测试或当前模型排名。