测试 WizardCoder 15B：本地运行的编程助手

WizardCoder 是一个可以在本地运行的编程助手。在这次 2023 年 6 月的演示中，我介绍模型的背景、加载本地版本，并用 Python 编程挑战测试它。这些结果只是一套配置下的非正式观察，不代表当前编程模型的排名。

WizardLM 团队介绍，他们将 Evol-Instruct 方法调整为适用于代码相关指令，然后使用得到的指令跟随数据集微调 StarCoder。模型拥有 150 亿参数。作者展示的基准测试显示，它与当时的其他模型相比表现出色，但在展示的测试中低于 GPT-3.5 和 GPT-4；这类结果取决于基准和设置。

我使用的是 TheBloke 提供的 GPTQ 版本。这份简短教程假设已经安装 text-generation-webui：在我的 conda 环境中，我用 `python server.py` 启动服务器，然后在界面中选择 WizardCoder 15B 模型。具体命令和硬件要求取决于安装方式和模型格式。

我使用 Python Principles 进行测试，该网站按难度列出编程练习。第一题要求找出字符串中大写字母的索引。我将指令复制给模型，并将最大新生成 token 数设为 2,000。在我的配置上生成速度很快，但速度会因机器而异。

有时回答会意外地以一个特殊标记结束，而没有输出代码。在我的实验中，从提示词中删除示例并重新运行有时能解决问题。这是我在这套配置下观察到的一种变通方法，并不意味着总应该省略示例。

下一题要求编写 `div_3` 函数，返回一个整数是否能被 3 整除。练习网站判定生成的答案正确。我还展示了一道参数计数题：函数接受数量不定的参数，并返回收到的参数个数。

一道更难的练习要求 `format_number` 将非负数转换为字符串，并用逗号作为千位分隔符。我在提示词中省略示例，将生成的函数粘贴回练习，网站判定答案正确。另一次我加入示例后，回答变得更复杂，并产生了错误。

接着我要求模型编写 Python 版 Snake 游戏。在这个界面中，我将生成设置为 2,000 个 token，有时可以使用 Continue 按钮延长输出；这是本次演示的设置，并不是本地模型的普遍限制。继续生成似乎成功了，但我在 VS Code 中保存代码后，程序无法运行。

我决定不再进一步调试这个游戏。从这些有限的测试来看，我认为模型适合编写相对较小的函数，包括一些较复杂的函数，但按照我当时的评价，它还达不到 GPT-3.5 或 GPT-4 的水平。它的实际吸引力在于可以本地运行。