Mistral Large：2024 年的编程、推理与安全回答评测

Mistral AI 发布了 Mistral Large。在这期 2024 年 2 月的评测中，我考察公司的主张并尝试自己常用的提示词。我此前喜欢 Mixtral 和 Mistral Medium，因此很想知道新的专有旗舰模型能否处理推理和代码。我的测试使用 Le Chat 界面，只是一小组非正式样本。

Mistral 称 Large 支持多语言推理、文本转换和编程，具有 32,000 token 上下文窗口、函数调用和结构化输出。其列出的支持语言包括英语、法语、西班牙语、德语和意大利语。发布时，该模型通过 Mistral 平台及 Azure 提供，也可以通过协商进行私有部署；通过协议获得权重并不等于开放权重发布。

在 Mistral 2024 年的 MMLU 图表中，Large 得分为 81.2%，GPT-4 为 86.4%。这是特定基准的结果，并非所有基准的平均值。公司还报告 HumanEval 上 Large 为 45%、GPT-4 为 67%，以及 GSM8K 上的不同结果；评估方法和模型版本都很重要，这些厂商报告的比较不能确立当前排名。

Mistral 还宣布了 Small，其定位介于开放权重模型和旗舰模型之间。我介绍了可用的结构化 JSON 和工具调用功能，它们可能帮助应用开发者。功能公告并不意味着每个生成结果都有效，也不意味着无需验证就能安全执行每次函数调用。

发布时展示的价格表将 Mistral Large 定为每百万输入 token 8 美元、每百万输出 token 24 美元。我将其与视频中所示的 GPT-4 费率 10 美元和 30 美元相比，在这些特定费率下便宜 20%。价格、模型版本和提供商条款会变化；这些是历史数字，并非当前购买建议。

在编程测试中，模型正确生成了输出 1 到 100 的 Python 循环。它生成的贪吃蛇游戏使用终端界面；我运行代码，看到蛇吃到食物后变长，因此认为通过了测试，尽管它撞墙时报错。一次基本交互成功并不能证明游戏完整或稳健。

我使用可能有害的请求探测内容审核。模型最初拒绝了一个请求，但在虚构情境的重新表述后提供了更多回答；我将这次测试中的审核描述为有限。这只是对少量提示词的观察，并非全面安全评估；拒绝协助有害行为也不是模型的一般性失败。

在晾衬衫谜题中，模型明确区分同时晾干与分批晾干：条件相同且空间足够时，所有衬衫可以在四小时内晾干；连续进行四批则需 16 小时。这些答案依赖于所述假设。它还正确回答了 Jane、Joe 和 Sam 的速度排序问题。

模型正确完成简单加法，并按通常的运算顺序算出 25 − 4 × 2 + 3 等于 20。在自指的词数统计问题中，它声称有十一个词，而我数出十个，因此判为错误。这些例子只是个别观察，不是标准化推理分数。

关于房间里杀手数量的谜题得到了预期答案：三名活着的杀手，即原来的两人幸存，进入者也成为杀手。正如我所指出的，如果把死者也算作杀手，就会得到不同解释，因此答案取决于问题的定义。

模型根据三个人的描述生成了一个 JSON 对象。对于弹珠和倒扣杯子的问题，它也回答说杯子移走后弹珠仍在桌上。这依赖于通常的解释：提起倒扣的杯子时，弹珠留在桌面；模型对弹珠如何到达那里的描述，不必视为完整的物理过程。

在最后一道追踪人物认知的谜题中，模型说 John 认为球在盒子里，而 Mark 认为球在篮子里，这反映了各自最后放球的位置和各自掌握的信息。我对结果印象深刻，称这次测试近乎完美，尽管词数统计失败，而且我的测试数量少、主观性强，容易受到提示词解释影响。这些结果不能证明广泛的当前排名或全面的安全表现。