三款本地编程模型比较：游戏与编程挑战

摘要

30 秒看懂

在这段由 Dell 和 NVIDIA 赞助的 2024 年 11 月视频中，Matthew Berman 使用配备两块 RTX A6000 GPU 的工作站，通过 LM Studio 比较三款编程模型。Qwen 生成了他最喜欢的贪吃蛇游戏，显示出的生成速度也最高；三者在俄罗斯方块、困难的正则表达式挑战和质数生成器时限上都遇到困难。经过演示中所示调整，三者都通过了字母移位和有序数组中位数测试；这组规模小且条件不完全一致的测试不能确立普遍排名。

1本地运行的三款模型Berman 使用 LM Studio 比较 DeepSeek-Coder-V2 Lite、Yi-Coder 9B Chat 和 Qwen2.5-Coder 7B。
2贪吃蛇测试中 Qwen 表现较好在主持人的试用中，Qwen 生成的版本表现最好，包括观察到撞上自身后游戏结束。
3俄罗斯方块仍然困难各次尝试分别需要人工修复、出现冻结，或在请求修复后仍然失败。
4简单挑战通过经过演示中所示的命名调整，三款模型都通过了字母移位挑战。
5更难挑战暴露局限没有模型完全通过正则表达式任务，质数生成器也在测试限制下超时。
6中位数挑战三款模型都通过了最后的有序数组中位数测试，其中 DeepSeek 的尝试经过了适配预期接口的修正。

要点建议

三款模型分别是 DeepSeek-Coder-V2 Lite、Yi-Coder 9B Chat 和 Qwen2.5-Coder 7B；它们的架构和总参数数量不同。
在这次演示中，Qwen 生成的贪吃蛇游戏表现最好；所展示的尝试中没有模型生成令人满意的俄罗斯方块游戏。
主持人进行了必要的接口调整后，三款模型都通过了字母移位和最终的中位数挑战。
困难正则表达式挑战的尝试未通过部分测试，质数生成器则在挑战限制下超时。
所报告的生成速度是在赞助提供的工作站上观察到的，不能推广到其他硬件或设置。
视频由 Dell 和 NVIDIA 赞助，少量提示并非受控的编程基准测试。

主题Open-weight models 评估 Software engineering Local inference AI cost & performance

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

模型与赞助硬件

Berman 介绍三款编程模型，以及配备两块 NVIDIA GPU 的 Dell 工作站。他使用 LM Studio 进行本地推理。

我正在比较三款用于本地编程的模型：DeepSeek-Coder-V2 Lite、Yi-Coder 9B Chat 和 Qwen2.5-Coder 7B。我会尝试游戏生成和编程挑战。这段视频由提供工作站的 Dell 和 NVIDIA 赞助；比较是 2024 年 11 月的一组非正式例子，并非全面的基准测试。

Dell Precision 5860 配备两块 RTX A6000 GPU，每块有 48 GB 显存，我在 LM Studio 中加载了全部三款模型。它们的架构并不相同：[DeepSeek-Coder-V2 Lite](https://huggingface.co/deepseek-ai/DeepSeek-Coder-V2-Instruct) 是总参数 16B、活跃参数约 2.4B 的混合专家模型，而另外两款名称分别对应 9B 和 7B 模型。容量和速度取决于量化、硬件及软件配置；两块 GPU 在不同配置下不会自动表现为一个合并显存的设备。

贪吃蛇与俄罗斯方块

模型生成 Python 游戏，其中 Qwen 的贪吃蛇尝试最成功。在演示的运行中，没有模型令人满意地完成俄罗斯方块。

模型和必要软件准备好之后，本地推理可以在没有互联网连接的情况下运行。我先让 DeepSeek 用 Python 编写贪吃蛇。它生成了一个 tkinter 版本，在这台机器上约每秒输出 30 个 token。游戏可以打开，但行为不符合我的预期，所以仅仅加载成功不算完全成功。

幻灯片 1 / 4DeepSeek 生成的贪吃蛇代码LM Studio 展示了赞助工作站配置下生成的 Python 代码和观察到的速度。

Yi-Coder 使用 turtle 库生成贪吃蛇，速度约为每秒 50 个 token。在我的试用中游戏表现更好，不过像素对齐不够整齐，我也没有找到让游戏失败的方法。这些显示的速度只描述工作站上的特定生成过程，并非受控的吞吐量研究。

Qwen2.5-Coder 使用 Pygame，这次生成速度接近每秒 70 个 token。解决缺少 Pygame 模块的问题后，我运行游戏：画面元素对齐，蛇撞上自己的身体时游戏结束。我认为这是三次贪吃蛇尝试中最强的一次。

幻灯片 2 / 4Qwen 的贪吃蛇游戏Berman 比较时运行了生成的 Pygame 版本。

接下来我要求每款模型编写俄罗斯方块。DeepSeek 的代码使用 Pygame 却没有导入，因此我手动添加导入；游戏启动了，但运行迟缓，似乎只有一种方块。Yi-Coder 的尝试无法正常运行并冻结。这些测试包含人工干预，各模型的修复步骤也不完全相同。

Qwen 的俄罗斯方块代码也报错。我把错误反馈给模型，替换它建议的主函数后再试，但仍然失败。所展示的尝试中，三款模型都没有生成令人满意的俄罗斯方块游戏，不过这不能证明它们在不同提示或迭代下无法完成该任务。

CodeWars 挑战

三款模型都通过了一道简单的字母移位任务。困难的正则表达式题和高效质数生成器则暴露出失败与超时问题。

我转到 Codewars，要求编写函数，将每个字母在字母表中向后移动十位，超过 z 后从头循环。DeepSeek 最初使用了不同的函数名；我将其改为预期接口后，解法通过。Yi-Coder 也通过了，Qwen 在我调整函数名后通过。

接下来是一道难得多的 Codewars 题：编写正则表达式，匹配能被给定数字整除的二进制数。DeepSeek 首先遇到库使用限制，因此我要求一个不使用这些库的版本；修改后的提交通过 166 项测试、失败 52 项。我向 Yi-Coder 更明确地说明方法名和库限制；它仍未通过部分测试，Qwen 也是如此。由于提示和修改不同，显示的数量不是受控的直接比较分数。