StableVicuna 的 2023 年发布：测试早期 RLHF 聊天机器人

StableVicuna 延续了 LLaMA、Alpaca 和 Vicuna 以动物命名的模型谱系。Stability AI 将它描述为通过指令微调和人类反馈强化学习（RLHF）训练的大规模聊天机器人。该公司称它是首个同类模型；这是公司当时的主张，我在这里并未独立证实。

指令调优利用指令和期望答案的示例来教导模型。RLHF 在训练过程中使用人类偏好信息塑造回答，并不一定意味着模型会根据每一次实时用户互动持续训练。Stability AI 在公告中提到了公开数据集和 trlX 训练框架。

StableVicuna 是在 Vicuna v0 13B 基础上进一步进行指令调优和 RLHF 训练的版本，而 Vicuna 本身基于 LLaMA 13B。我称它为开源模型，但提醒大家注意商业使用限制。发布的增量模型卡列出非商业许可，用户还必须考虑底层模型的条款；发布权重并不自动意味着商业使用不受限制。

Stability AI 给出了基础数学、代码和语法方面的示例，并提供托管的 Hugging Face 界面和模型下载。此次 2023 年 5 月的测试，我使用托管的 Gradio 演示，而不是在本地运行这个拥有 130 亿参数的模型。此后的可用性和速度可能已经变化。

首先，我两次要求它写一首关于 AI 的 50 词诗。输出都很短，看起来没有达到要求的词数；其中一首语气出人意料地阴森，另一首则更加积极。这些例子说明模型能够生成看似合理的文本，但不能可靠地遵守这一长度要求。

接下来，我要求它写一段数到 100 的 Python 代码。我运行了生成的程序，它打印出 0 到 99：共 100 个数字，但不包括 100。与我使用 GPT-3.5 的体验相比，模型响应较慢。我猜测更复杂的编程任务会更难，但这一次测试不能确立广泛的排名。

在一道推理题中，我说 Mark 比 Mary 快，Mary 比 Joe 快，然后问 Joe 是否比 Mark 快。模型缓慢响应并重试后，说无法确定答案。这是错误的：题目给出的比较意味着 Mark 比 Joe 快。

最后，我要求它写一封邮件，告诉老板我要离开公司。模型生成了一封常规辞职信，日期和发件人处留有占位符。我认为它简洁明了，可以作为草稿使用，但本次生成速度较慢；需求量大只是可能的解释，并非已经确认的原因。