30 秒看懂
Matthew Berman 介绍 LLM Colosseum。这个项目将语言模型接入《街头霸王 III》,利用它们选择的动作控制角色。展示的比赛以 Mistral 获胜告终;Berman 说自己观看时多次看到这个结果。 这是一场示例比赛,不能证明某个模型整体更优秀,也不能证明其权重在比赛中学习了新内容。视频没有提供足够信息来确定每个模型的版本或统计胜率。
- 1格斗游戏评测Berman 将《街头霸王 III》作为一种互动方式,比较语言模型智能体在比赛中的决策。
- 2从观察到动作系统根据游戏信息和目标构造提示词,询问大语言模型下一步动作,再将返回的动作应用到游戏中。
- 3一场展示的结果画面中的双方角色都是 Ken;屏幕标明了 OpenAI 和 Mistral 两边。胜利画面显示 Mistral 获胜。
要点建议
- LLM Colosseum 使用游戏观察和提示词,让语言模型选择动作。
- 视频展示了一场标为 OpenAI 和 Mistral 的智能体比赛,双方都使用 Ken。
- 画面显示 Mistral 获胜,但这本身不能证明它在整体模型能力上更优。
- 演示没有表明模型权重在游戏中得到更新,也没有表明智能体在游戏过程中进行了学习。
按章节阅读整理后的全文
一种新的游戏测试
Berman 介绍两个人工智能语言模型智能体之间的《街头霸王 III》比赛,将它作为比较决策的另一种方式。

我正在观看两个语言模型智能体玩《街头霸王 III》,这是我非常喜欢的一款游戏。[LLM Colosseum](https://github.com/OpenGenerativeAI/llm-colosseum) 项目将比赛中的决策作为比较模型的另一种方式。这场短比赛展示了系统的运作方式,并非对模型质量的全面评估。
循环如何运作
系统使用游戏观察和目标构造提示词。模型返回一个动作,由游戏执行。
这个循环从游戏中获取观察信息和目标,构造提示词,询问语言模型下一步动作,然后将选择的动作应用到游戏中。这描述的是智能体使用模型选择动作;视频没有展示模型权重在游戏过程中被训练或更新。
比赛结果
演示中双方都使用 Ken,最终 Mistral 获胜。Berman 希望看到更多角色和游戏。

在展示的比赛中,我认为绿色 Ken 代表 Mistral,红色 Ken 代表 OpenAI;游戏屏幕也标注了双方。演示中两个角色都是 Ken,我希望项目未来能加入更多角色和游戏。画面不能确定 Mistral 模型的确切版本。
比赛结束后短暂停顿,胜利画面显示 Mistral 获胜。我自己观看时多次看到这个结果,但短视频没有给出比赛次数、受控条件或统计胜率。这是一个有趣的演示,并不能证明 Mistral 通常都会获胜。
同频道的其他文章
14:45EN → 简体中文
34:21EN → 简体中文
0:26EN → 简体中文
0:36EN → 简体中文
0:21EN → 简体中文
25:50EN → 简体中文