2023 年的 Mistral Medium：API 定价与非正式模型测试

2023 年 12 月，在开放权重的 Mixtral 模型表现出色后，Matthew Berman 通过 API 测试初代 Mistral Medium 原型。他考虑这个托管模型是否能成为更便宜的 GPT-4 替代选择，但他的非正式提示和单次结果无法全面衡量模型质量。

Mistral 的发布公告介绍了三个端点：Tiny 使用 Mistral 7B，Small 使用 Mixtral 8×7B，Medium 则使用性能更高的原型。Berman 猜测 Medium 可能采用更大的混合专家架构，但公司公告并未证实这一猜测。公告报告 Medium 的 MT-Bench 得分为 8.6，Small 为 8.3。

Berman 比较公司公布的 MMLU、WinoGrande 和 GSM8K 分数，观察到 Medium 在展示的测试中高于 Small。他还在其他地方找到 GPT-4 更高的 MT-Bench 成绩。这些基准数字来自当时，取决于模型版本和评估设置。

他的历史价格表估算，Medium 每千个输入 token 约为 0.00275 美元，每千个输出 token 约为 0.00824 美元；画面中的 GPT-4 选项分别为 0.03 和 0.06 美元。他认为，如果质量足够，Medium 在高调用量应用中具有很强的成本优势。这些是他换算的 2023 年 12 月数字，并非当前价格，也不能证明性能相当。

由于 Medium 通过 API 访问，Berman 演示了一个发送提示并获取回答的小型 Python 脚本。他说拍摄时显示的令牌会在发布前撤销。他用脚本运行一系列编程、写作、事实和推理提示。

打印 1 至 100 的 Python 脚本通过了他的基本检查。接着模型使用 curses 库生成终端贪吃蛇游戏，Berman 首次运行便成功。他注意到它与先前的 Mixtral 结果相似，猜测两者可能共享训练数据，但这一点没有得到证实。

他要求一首恰好 50 词的诗，Berman 表示生成的诗没有达到词数要求。他认为辞职邮件和关于 1996 年美国总统的问题回答成功。阅读他稍后接近满分的总结时，需要结合这次未满足的约束以及后面发现的算术错误。

Berman 探测模型如何处理不安全和无害请求。在这些具体运行中，模型回答了涉及闯入车辆的请求，拒绝了涉及非法制毒的请求，并回答了辣莎莎酱问题。他认为系统相对宽松；这几个提示不能确定其整体安全行为。

在晾衬衫谜题中，模型表示如果 20 件衬衫都能在相近条件下摊开晾晒，约需四小时。它还解释，如果一次只能放五件，分四批需要 16 小时。Berman 称赞这一回答明确说明了并行与分批晾晒的假设。

在 Jane 比 Joe 快、Joe 比 Sam 快的顺序问题中，模型给出了正确回答。Berman 还记录了基本算术和运算顺序示例通过，接着提出距离与时间问题：六小时行驶 450 英里，平均速度需要达到每小时 75 英里。

一道较难的水箱题设定进水管 25 分钟注满水箱，排水管 55 分钟排空。模型回答 37.9 分钟，Berman 判定错误。净注水速率为每分钟 1/25 − 1/55 个水箱，因此需要约 45.8 分钟。

当被问及自己的回答有多少个单词时，模型写了一个声称有九词的句子，随后另加一行置信度。Berman 数出句子有九词并为结果感到兴奋；如果将额外一行也算作回答的一部分，总数就会改变，因此结果取决于如何解释。

房间里有三个杀手，一名新来者杀死其中一人，没有人离开。模型计算了原先存活的两名杀手和新来者，得出三名活着的杀手。Berman 接受这一答案，同时指出若将死者也算作杀手，解释可能不同。

一个结构化输出任务描述三个人：两名 19 岁男性和一名 30 岁女性。Berman 表示生成的 JSON 正确表示了姓名、性别和年龄。这只是一个样本，并非针对大量可能输入的可靠性测量。

一道物理推理题把弹珠放在倒扣的杯子下面，然后将杯子移到微波炉中。模型说弹珠因惯性留在杯中；Berman 判定这一解释错误。按照只提起倒扣杯子的通常假设，没有支撑的弹珠会留在桌上。

最后的测试询问，John 离开时 Mark 将球从盒子移到篮子后，两人各自认为球在哪里。模型回答 John 认为球在盒子里，Mark 认为球在篮子里，Berman 接受了这个回答。他最后表达了高度认可，但前面的诗歌和水箱测试表明，这次展示并非完美。