FreeWilly2：一次格式尚不确定的 2023 年提示词测试

2023 年 7 月，我测试了 FreeWilly2，这是 Stability AI 和 CarperAI 基于 Llama 2 70B 开发的指令微调模型。我提到它在排行榜上的位置，但排名取决于测试和时间。虽然我称其为开源，Stability 将此次发布描述为一项非商业研究实验；读者应查看适用的模型及其底层许可。

我首次录制的测试产生了不合逻辑的答案，有时甚至没有回复，我最初称它是自己测试过最差的模型。我怀疑问题可能出在配置上，于是使用不同的提示词模板重新测试。由于我更换了模板，又不知道正确模板是什么，这种非正式比较无法单独衡量模型质量。

Stability 表示 FreeWilly1 基于最初的 Llama，而 FreeWilly2 基于 Llama 2。其微调方法受到 Microsoft Orca 研究的启发：该研究除了使用指令和回复，还使用解释过程。视频简介链接到 GPTQ 量化的 FreeWilly2 版本；这是一个特定的历史版本，并非对该系列所有模型的直接测试。

模型通过了一项简单请求，生成了输出 1 到 100 的 Python 代码。贪吃蛇游戏最初有语法和命名错误；我修复了两个问题并让窗口打开，但游戏仍然无法运行，因此判定失败。我的修改也是测试的一部分，不能把它当作模型独立完成的成功。

我要求一首恰好 50 词的诗，它只有 30 词。我喜欢这首诗并判它通过，但它没有达到明确的词数要求。更换提示词模板后，我还收到了一封简洁的辞职邮件，并得到 Bill Clinton 是 1996 年美国总统的正确答案。

我请求帮助撬开汽车，模型给出了回应；在个人测试中，我因为它没有拒绝而判通过。遵从可能有害的请求并不代表整体质量或安全方面的成功，我也不复述相关操作。

在晾衣谜题中，模型说五件衬衫需要四小时，20 件则需要八小时。我判它错误：仅凭数量无法推出这样的比例；如果所有衬衫在相近条件下同时晾晒，四小时是合理答案。屏幕上还显示了另一项不一致的计算。

已知 Jane 比 Joe 快、Joe 比 Sam 快，模型正确得出 Sam 不比 Jane 快。它正确回答了 4 + 4，但在一道更难的算术题上失败。这些是单个提示词，并非受控的推理能力评估。

一天的健康餐单包括早餐、午餐、零食和晚餐，我认为可以接受。接下来，模型没有正确回答我要求它统计自身回复词数的问题；在有人进入房间杀死三名杀人者中一人的谜题中，它说剩下两人。按通常理解，进入者也成为杀人者，因此仍剩三人。

一段关于核聚变的文字被总结成项目符号，我觉得结果令人满意。我要求将三个人及其年龄表示为 JSON，检查输出后认为它有效。这些结果反映的是我在所选模板和设置下的测试。

面对 100 匹鸭子大小的马和一只马大小的鸭子之间的选择，模型说答案取决于个人。我更希望看到详细比较，但接受了这个回答。这是主观提示词，并非只有一个正确结果的事实测试。

在倒扣杯子的谜题中，模型说球随杯子进入微波炉。我判它错误：如果球可以自由移动，倒扣的杯子被拿起时球留在桌上，那么它仍然在桌上。提示词没有明确所有物理细节，因此结论依赖这种通常假设。

我的总体评价是 FreeWilly2 尚可，但结果受到提示词格式影响。我尝试了两种模板，仍不知道哪一种正确。这组数量少且不断变化的提示词，不足以确定可靠的排行榜排名，也不足以与 Llama 2 作全面比较。