Best-of-N 越狱：2024 年反复变换提示词的研究发现

2024 年 12 月，我研究了 Best-of-N 越狱，也称为 shotgunning。论文考察了反复变换请求，是否会让 AI 系统生成原本会受到安全防护拦截的回答。论文报告了一些文本、视觉和音频模型的结果，包括 Anthropic 自家的 Claude；这些测试并不能证明每个模型或未来版本都有漏洞。

作者称这种方法为黑盒方法，因为它不需要了解模型的内部运作。他们反复采样经过修改的请求，并评估得到的回答。关键问题是，输入中看似微小的变化可能影响模型是否遵守安全约束。

论文报告称，采样 10,000 个文本变体时，对 GPT-4o 的攻击成功率为 89%，对 Claude 3.5 Sonnet 为 78%。这些数字针对研究人员选定的有害请求数据集、评分程序、模型版本和采样次数，并非任意一个提示词成功的概率。

研究人员使用针对不同输入格式的变化，将实验扩展到视觉和音频模型。他们报告了六个视觉系统和四个音频系统的结果。论文概览强调 GPT-4o 视觉输入的成功率为 56%，GPT-4o Realtime API 音频输入约为 72%；音频结果部分给出的数字为 71%，因此报告值取决于表述和设置。

论文报告称，随着采样变体增多，成功率也会上升；在测试范围内，许多模型呈现出类似幂律的变化规律。更多尝试需要更多资源，但可以提高至少一个回答被判定为成功的机会。观察到的规律是这些测试的经验结果，并不能保证在所有部署中都能成功。

作者认为，模型输入的多样性比某一种特定变换更重要。他们还发现，将 Best-of-N 与其他攻击方法结合可以提高测得的结果。这表明有必要针对多种输入及其组合测试防御，而不是只测试少数固定例子。

我展示了一位越狱研究者公开的例子，讨论文本呈现方式的变化如何影响模型行为。论文同样考察了文本、图像和音频的变化。这些例子展示了一类稳健性问题，并不能证明某种防御总会失效。

对于文本实验，我介绍了在采样 10,000 次时，受测的八个模型攻击成功率大约都在 50% 或以上；视频给出的 Claude Sonnet 和 Gemini Pro 数字分别为 78% 和 50%。画面中论文的概述则称，文本模型的成功率均至少为 52%。这些数字随具体评估而变化，不应视为通用排名。

对于音频，论文报告其音频实验中 Gemini Pro、Gemini Flash、GPT-4o Realtime 和 DiVA 的成功率分别为 59%、71%、71% 和 87%。该实验使用了 7,200 个样本，因此不能不考虑不同设置，就将这些数字与采样 10,000 次的文本结果直接比较。

研究人员发表了论文和代码。我此前在频道中讨论过越狱，也知道一些观众质疑公开这些技术是否会帮助人们获取有害信息。我的看法是，识别攻击途径也能帮助开发者了解并加强系统。

我认为模型行为具有非确定性，并表达了模型总能被越狱的观点。实验展示了受测条件下的漏洞，但非确定性本身并不能证明所有可能的防护措施必然失效。我还认为，不同国家对信息获取的限制可能不同，这也是我认为公开讨论有价值的另一个原因。

对我来说，更广泛的教训是，安全评估必须考虑反复尝试和不同模态，而不能只看针对一种措辞的单次回答。论文为研究人员提供了一种考察这一风险的方法，其结果仅限于实际研究的系统和测试。