LLM Colosseum:语言模型玩《街头霸王 III》

原标题LLM Colosseum: Language Models Play Street Fighter III

Matthew Berman 观看一场短比赛,语言模型智能体根据游戏观察选择格斗动作。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2024年4月2日
视频
1:00
阅读
2 分钟
幻灯片
2
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 介绍 LLM Colosseum。这个项目将语言模型接入《街头霸王 III》,利用它们选择的动作控制角色。展示的比赛以 Mistral 获胜告终;Berman 说自己观看时多次看到这个结果。 这是一场示例比赛,不能证明某个模型整体更优秀,也不能证明其权重在比赛中学习了新内容。视频没有提供足够信息来确定每个模型的版本或统计胜率。

  1. 1格斗游戏评测Berman 将《街头霸王 III》作为一种互动方式,比较语言模型智能体在比赛中的决策。
  2. 2从观察到动作系统根据游戏信息和目标构造提示词,询问大语言模型下一步动作,再将返回的动作应用到游戏中。
  3. 3一场展示的结果画面中的双方角色都是 Ken;屏幕标明了 OpenAI 和 Mistral 两边。胜利画面显示 Mistral 获胜。

要点建议

  1. LLM Colosseum 使用游戏观察和提示词,让语言模型选择动作。
  2. 视频展示了一场标为 OpenAI 和 Mistral 的智能体比赛,双方都使用 Ken。
  3. 画面显示 Mistral 获胜,但这本身不能证明它在整体模型能力上更优。
  4. 演示没有表明模型权重在游戏中得到更新,也没有表明智能体在游戏过程中进行了学习。
全文

按章节阅读整理后的全文

只看原始文稿
01

一种新的游戏测试

Berman 介绍两个人工智能语言模型智能体之间的《街头霸王 III》比赛,将它作为比较决策的另一种方式。

游戏观察与动作日志
幻灯片 1 / 2游戏观察与动作日志画面同时展示游戏过程和为每位玩家选择的动作。

我正在观看两个语言模型智能体玩《街头霸王 III》,这是我非常喜欢的一款游戏。[LLM Colosseum](https://github.com/OpenGenerativeAI/llm-colosseum) 项目将比赛中的决策作为比较模型的另一种方式。这场短比赛展示了系统的运作方式,并非对模型质量的全面评估。

02

循环如何运作

系统使用游戏观察和目标构造提示词。模型返回一个动作,由游戏执行。

这个循环从游戏中获取观察信息和目标,构造提示词,询问语言模型下一步动作,然后将选择的动作应用到游戏中。这描述的是智能体使用模型选择动作;视频没有展示模型权重在游戏过程中被训练或更新。

03

比赛结果

演示中双方都使用 Ken,最终 Mistral 获胜。Berman 希望看到更多角色和游戏。

OpenAI 与 Mistral 对战
幻灯片 2 / 2OpenAI 与 Mistral 对战游戏画面标注了这场 Ken 对 Ken 演示中的双方。

在展示的比赛中,我认为绿色 Ken 代表 Mistral,红色 Ken 代表 OpenAI;游戏屏幕也标注了双方。演示中两个角色都是 Ken,我希望项目未来能加入更多角色和游戏。画面不能确定 Mistral 模型的确切版本。

比赛结束后短暂停顿,胜利画面显示 Mistral 获胜。我自己观看时多次看到这个结果,但短视频没有给出比赛次数、受控条件或统计胜率。这是一个有趣的演示,并不能证明 Mistral 通常都会获胜。

同频道的其他文章

5 张幻灯片14:45EN → 简体中文
Matthew Berman· 2026年10月29日Matthew Berman 解读 Google 的 Gemini 4 Carbon 公告Matthew Berman · Forward FutureMatthew Berman 回顾 Google 公布的 Gemini 4 Carbon 基准结果、分阶段开放计划与定价,同时指出自己尚未使用该模型。Foundation ModelsBenchmarksAI cost & performance+2
12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1