Guanaco 与 QLoRA：2023 年的微调方法与模型测试

在这段 2023 年 5 月的视频中，我解读微调技术 QLoRA，并测试 Guanaco 65B。我对更低的内存需求及更多人能够调整现有模型的可能性感到兴奋。微调预训练模型与从零训练模型不同。

研究者报告称，QLoRA 可以在一块 48 GB GPU 上微调 650 亿参数模型，同时保持与其 16 位微调基线相近的任务表现。该方法通过冻结的 4 位量化预训练模型反向传播，并更新低秩适配器；这并不等于全程使用未经量化的 16 位模型。

论文报告，Guanaco 在研究所用的 Vicuna 基准上达到 ChatGPT 表现水平的 99.3%。这是针对 2023 年特定评估和模型比较的结果，不是说 Guanaco 在全部任务的 99% 上都能与 ChatGPT 或 GPT-4 持平。

作者将其内存需求与他们设置中传统 16 位全量微调 LLaMA 65B 所需的 780 GB 以上显存进行比较。我还强调了他们的发现：在所测试的指令微调比较中，数据质量和适用性可能比数据集规模更重要。

我查看了当时一块 48 GB 云端 GPU 约每小时 0.79 美元的价格，并估计运行 24 小时不到 20 美元。这个算式针对特定租赁价格和微调运行，不包含其他可能的费用，也不是当前报价。

我介绍了一个针对较小模型的笔记本示例和一个托管的 33B 演示，随后使用云实例和文本生成网页界面运行量化后的 Guanaco 65B。视频跳过了一些设置步骤；实际硬件和访问要求取决于具体配置。

在一个简单 Python 任务中，模型生成了输出 1 到 100 的代码。接着我要求它编写贪吃蛇游戏，生成停止后继续输出；后来我发现，最初设置的最大新 token 数只有 200。

生成的贪吃蛇程序遇到错误。我添加了一个导入并重新尝试，但仍因局部变量错误失败。我觉得它已经接近成功，不过演示没有展示一个可以运行的游戏。

要求写一首 50 词的诗时，模型给出了俳句，而不是要求的形式；写离职邮件时则给出了一份常规草稿。这些例子展示了非正式测试中不同的指令遵循结果，并非受控评估。

视频中，关于 1996 年美国总统的问题得到了正确名字：Bill Clinton。模型也拒绝了涉及闯入汽车的请求，并建议寻求合法帮助；单次拒绝不能证明其安全行为整体可靠。

对于晾衬衫的问题，模型没有先确认是否可以同时晾晒，就回答需要 16 小时。我认为这可能对应一种串行场景，但问题本身条件不足，给出的信息并不能支持模型采用的比例推理。

题目给定 Jane 比 Joe 快、Joe 比 Sam 快，再问 Sam 是否比 Jane 快时，模型给出了自相矛盾的回答。已知顺序意味着 Sam 不比 Jane 快，无需了解具体速度差。

模型回答了简单算术，包括按运算顺序计算 4 × 2 + 2，并生成了一份示例餐单。随后要求它计算下一条回复的词数时，它给出了错误说法，说明这组小规模提示测试存在局限。

在一个关于房间里杀人者数量的谜题中，回答忽略了进入房间并杀人的那个人。我讨论了两种解释，取决于题目是否把死者也算作杀人者；措辞和假设决定了最终数量。

在这次历史测试中，问到年份时模型回答 2023；仅凭这个回答不能证明它实时获取了日期。面对政治偏好问题，它给出中立回应，并将选择描述为主观判断。

我觉得该模型令人印象深刻，并表达了自己认为它优于 GPT-3.5、接近 GPT-4 的观点。我简短且结果不一的测试，以及研究中特定的 Vicuna 结果，都不能确立跨模型或现代任务的全面排名。