测试 WizardLM 70B：配置、编码与推理结果

WizardLM 70B V1.0 是基于 Llama 2 的 700 亿参数模型。此前的 WizardLM 版本给我留下了不错的印象，因此我在 2023 年 8 月测试它。其权重按带有使用条件的 [Llama 2 许可证](https://huggingface.co/WizardLMTeam/WizardLM-70B-V1.0)提供；“开放权重”不意味着开源条款没有限制。

核心思路是用现有语言模型创建微调所需的指令数据。[WizardLM 论文](https://arxiv.org/abs/2304.12244)介绍了 Evol-Instruct：从种子指令开始，反复改写成更复杂的样本。这减少了逐条手写训练指令的需要，不过生成的数据仍需评估。

TheBloke 发布了不同的量化格式。我讨论了适用于以 CPU 为主场景的 GGML，以及适用于合适 GPU 的 GPTQ；最佳选择取决于软件和硬件，而不仅是格式。画面中的 GPTQ 文件约为 35 GB。我的 RunPod 实例使用一块 48 GB 显存的 NVIDIA L40、250 GB 系统内存和 32 个虚拟 CPU，当时每小时略高于 1 美元。价格和可用性会变化，视频简介注明我的 RunPod 链接是联盟推广链接。

在文本生成网页界面中，我从模型卡对应的仓库下载模型，刷新列表、选中模型、选择 ExLlama 加载器并加载。我使用指令界面和模型卡提供的提示词模板。这是视频中的配置，并不保证今天的界面或部署步骤完全相同。

第一个提示词要求编写打印 1 到 100 的 Python 脚本。生成的循环使用了正确的范围，通过了测试。接着我要求编写贪吃蛇；第一次尝试使用 curses 库，并在达到输出上限时中断，因此我让它继续生成。在我的机器上导入 curses 失败，这是环境问题，本身不能证明生成的游戏逻辑有误。

我改用 Pygame 再试，并将最大输出提高到 2,048 个 token。窗口几乎打开了，但程序未能成功完成。我把错误反馈给模型，修订后的输出仍不完整。因此我将贪吃蛇测试判为失败；这一结果描述的是观察到的运行情况，并不代表所有环境或重试。

要求生成的 50 词诗连贯，但不足 50 词。按照我当时宽松的评分标准，我给了通过，尽管它没有满足精确词数要求。模型还写出一封冗长但可用的辞职邮件，并正确回答 1996 年的美国总统是 Bill Clinton。

为了检查拒绝行为，我提出一项违法请求；模型拒绝提供操作说明。这只是一次观察到的回答，不能全面衡量其防护措施或面对不同请求时的表现。视频后面的 Masterworks 环节是赞助内容，广告中的投资表现说法不应被视为收益保证。

一道晾晒谜题问：五件衬衫在阳光下需要四小时，那么 20 件需要多久？模型回答 16 小时，推理前后不一致。我按照可能的依次分批解释接受了答案，但提示词没有规定只能同时晾五件。如果 20 件在同等条件下同时晾晒，自然的答案约为四小时；16 小时需要额外假设必须依次分批。

在速度排序问题中，题目说 Jane 比 Joe 快、Joe 比 Sam 快，模型正确得出 Sam 不比 Jane 快。它也答对了 4 + 4，并按照运算顺序算出 25 − 4 × 2 + 3 等于 20。这些例子展示的是单次成功，不是可靠性的统计度量。

膳食计划在我看来比较均衡，但内容笼统，没有针对个人健康需求调整。要求计算自己回答的词数时，模型反而说自己无法计算，因此我将这项测试判为失败。我的评分记录了这次运行的情况，不应被视为严格的医学或语言评估。

三名杀手的谜题中，一个人进入房间，杀死三名杀手中的一人，且没有人离开。模型讨论了几种解释，却遗漏了进入房间的人，还改变了谁实施杀人。我将其判为失败。答案也取决于问题是否把死者算作杀手，还是只计算活着的人。

模型用要点总结了一篇关于核聚变的短文，并生成包含三名有姓名、性别和年龄的人的 JSON 对象。所示示例的语法通过了 JSON 验证器检查。验证语法很有用，但本身不能证明任意生成数据的准确性。

面对“许多小马还是一只大鸭子”的假设选择题，模型列出了考虑因素，却没有作出选择。我接受了它的回答，因为推理具有相关性，而且这道题没有唯一的事实答案。这也说明我的评分标准带有主观性。

最后一道谜题把球放进杯子，将杯子倒扣在桌上，然后把杯子移到微波炉。模型假设球留在杯内，回答球在微波炉里；我因其解释给了分。但这个假设并未说明：如果只是将普通开口杯从桌上提起，没有托住球，球通常会留在桌上。题目的措辞允许不同的操作方式，因此明确假设很重要。

总体来说，尽管存在失败以及若干测试中的歧义，我对模型在这套 2023 年配置上的表现印象深刻。这些结果来自一小组非正式提示词，部分评分带有主观性，不能证明它在总体上优于其他模型。