Matthew Berman 试玩 LLM Colosseum：用街头霸王评测语言模型

摘要

30 秒看懂

Matthew Berman 介绍了开源项目 LLM Colosseum，它通过格斗游戏模拟器让语言模型相互对战。他回顾项目当时的排名，猜测响应速度会影响结果，并演示安装过程和一场比赛。画面中的结果只适用于这个实时游戏测试环境，不能确立模型能力的通用排名。

全文

对照原始文稿

Berman 介绍 LLM Colosseum、一场比赛及历史排名，并猜测响应速度的重要性。

LLM Colosseum 让语言模型在 Street Fighter III 中相互对战，每个模型在游戏过程中选择招式。Stan Girard 和 Quivr 团队创建了这个开源项目。这是一种有趣的模型行为比较方式，我还会展示 2024 年 4 月使用的配置方法。

开场比赛中，我指出红色 Ken 由 Mistral Small 控制，绿色 Ken 由 Mistral Medium 控制；Small 获胜。我猜测响应速度在实时格斗游戏中影响很大，也许能解释为什么较小的模型有时会赢。这只是我的解读，并非单独测量后证明速度导致了这一结果。

项目展示了 Elo 排名和交手胜率矩阵。在画面所示的快照中，GPT-3.5 Turbo 排在几个 GPT-4 和 Mistral 模型之前。我觉得这很令人意外，但我不确定这项基准究竟衡量了什么；这个特定游戏中的排名不应视为语言模型智能的通用排名。

项目将游戏观察结果和可选动作转为发给各模型的文字提示词，再由模拟器执行选定的招式。

项目创建者提出，速度、战略思维、适应能力和韧性都是相关特质。系统将游戏观察结果、可用动作和目标转为提示词；每个模型收到游戏状态的文字描述，并选择下一招。游戏模拟器实时执行这些动作。

Berman 演示 DIAMBRA、Docker、Python 和 API 配置。他配置模型并展示一场比赛，其结果只反映这次运行。

配置时，我在 VS Code 中克隆 LLM Colosseum 仓库，并安装 DIAMBRA Arena 模拟器。我注册其服务、安装 Docker，并创建一个使用 Python 3.10 的 conda 环境。激活环境后，我安装 DIAMBRA Arena，再列出支持的 ROM 来检查安装情况。

教程需要将兼容的游戏 ROM 以 ZIP 文件放入模拟器的 ROMs 文件夹。我没有提供下载地址，并讨论了游戏所有权。获取和使用 ROM 的权利取决于适用的许可和法律；仅拥有实体副本并不能确立下载任意副本的许可。

我安装 LLM Colosseum 的依赖，重新打开项目并再次激活 conda 环境。我将示例环境文件重命名为 .env，然后配置 OpenAI 和 Mistral 的 API 凭据。视频中提到录制时使用的密钥已在发布前撤销；教程中的服务接口和模型名称反映的是 2024 年的情况。

在 demo.py 中，我将一方配置为使用 Mistral 模型，另一方使用 GPT-3.5 Turbo，然后运行演示。首次运行可能需要登录 DIAMBRA，模拟器启动也需要一些时间。在展示的比赛中，我最初弄混了双方的颜色，随后纠正了自己。

两个 Ken 角色对战时，模型不断选择招式。我说 Mistral 赢得了这场比赛，并指出项目当时在该配置下只提供 Ken。这一场比赛和画面中的排行榜只是该游戏测试环境的例子，不能作为某个模型在其他任务中更优秀的受控证据。