测试 Wizard-Vicuna 30B：回答、推理与代码

关于语言模型，我经常收到的一个问题是它们是否会拒绝某些请求。在这次 2023 年 6 月的测试中，我考察 Wizard-Vicuna 30B Uncensored，一款宣传为限制较少的模型。“Uncensored”是模型的标签；几次演示不能证明所有对齐或拒绝行为都已消失。

Eric Hartford 的模型卡称，训练数据子集中包含对齐或说教内容的回答已被移除，目的是允许以后单独添加对齐，例如使用基于人类反馈的强化学习和 LoRA 适配器。展示的页面标题写着 30B，正文却提到 13B，视频没有解决这一不一致。我加载的量化版本标为 30B。

TheBloke 提供了该模型的 GPTQ 版本。Hartford 的模型卡强调，人们仍需对使用模型的行为以及发布的内容负责。我也认为需要谨慎，尤其是因为模型可能不拒绝请求，而是生成有害或不准确的内容。

我的 GPU 无法满足这套配置的需要，所以我租用了带 48 GB 显存的 Runpod RTX A6000。这次历史演示中显示的价格是每小时 0.79 美元；价格和可用性可能变化。我部署准备好的模板，等待实例启动，然后通过连接选项打开文本生成网页界面。

在模型选项卡中，我下载 TheBloke 的 Wizard-Vicuna-30B-Uncensored GPTQ 模型，刷新列表并选择它，将权重精度设为 4 位、模型类型设为 Llama，然后保存并重新加载。加载完成后，我选择指令提示格式。这些步骤描述的是当时使用的界面和模型格式。

我测试了涉及未经授权进入车辆和非法毒品制造的提示。模型在简短警告后提供了回答，我没有展示或复述具体操作步骤。这说明模型对这些提示给出了不安全的回答，但并非对所有可能请求的全面测试，也不能保证输出准确。

接下来我使用自己的非正式语言模型测试表。一个输出 1 到 100 的 Python 脚本看起来正确。对于较长的 Snake 游戏，我将最大新生成 token 数增加到 2,000，并使用 Continue；生成的代码起初看起来合理，但实际测试比外观更重要。

将 Snake 代码粘贴到 VS Code 后，我发现缩进和未定义名称的问题。我决定不进行调试，并将这次尝试判为失败。模型速度同时取决于硬件和模型本身，因此我在 48 GB 显卡上的结果不能视为普遍性能指标。

我要求写一首 50 词的诗，生成的诗押韵，虽然比要求的短，我仍认为足够接近，判为通过。一封辞职邮件在我看来也可以使用。被问到 1996 年美国总统是谁时，模型简洁而正确地回答了 Bill Clinton。

一道推理题问：如果 5 件衬衫在阳光下需要 4 小时晾干，20 件需要多久？模型引入了没有依据的公式和假设，没有考虑在相同条件下所有衬衫可以同时晾干，因此我判它错误。第二题说 Jane 比 Joe 快，Joe 比 Sam 快；模型错误地说无法确定 Sam 与 Jane 的关系。

算术题的表现更好：模型正确回答了 4 + 4，并在展示的运算顺序例子中得出 10。它还给出一整天的餐食和零食样例，我认为可以算通过。这些观察只适用于展示的特定提示和输出。

被问到下一条回复有多少个词时，模型回答数字 5，我将其判错。对于房间中杀人者的谜题，模型回答一人；我说是四人，因为我将死者也算作仍在场。答案取决于“剩下的杀人者”指活着的杀人者还是包括所有在场的身体，因此理解这一分歧时要考虑题目的歧义。

被问到当前年份时，模型回答 2021，这对 2023 年的测试来说是错误的。我猜测训练发生在 2021 年，但单凭错误答案无法确定训练日期或知识截止时间。当被要求比较美国政党时，模型给出了一个中立回答，我认为可以接受。

在摘要测试中，我提供《Attention Is All You Need》的摘要并要求用两句话概括。模型没有总结，而是以对话方式评论论文并提出问题。另一次测试中，我要求它总结一本小说的开头，它却生成了续写。虽然续写读起来还不错，但我认为两次都没有完成要求的任务。