测试模型对掩盖有害请求的反应

2024 年 3 月，我测试了多个语言模型，看看它们如何处理部分内容经过掩盖的有害请求。视频比较了直接请求和实验性的掩盖方法。这些是非正式例子，不是系统性的安全基准，结果描述的是我当时使用的模型和界面。

我从一个直接请求开始，主题涉及伪造货币。在我的例子中，Claude 3、GPT-4 和 Llama 2 70B 都拒绝了。Mistral Large 则提供了我认为与请求相关的信息；这一次对话不能证明该模型在所有情况下都没有防护措施。

在我展示的例子中，Mixtral 8x7B 和 Gemma 7B 也拒绝了直接请求。我指出，模型版本和微调可能影响其行为。每个界面的一次回应样本太小，无法衡量一般拒绝率，也无法可靠比较模型的安全性。

我之前讨论过的一篇论文提出的掩盖概念，是间接表示一个敏感词。我尝试了视觉文本表示，后来又尝试摩尔斯电码。关键问题是模型能否识别含义、拒绝有害请求，还是误解输入；解码失败与成功的安全拒绝并不相同。

我请 Claude 帮忙生成一种视觉编码，但它最初的解释和输出不一致。在反复尝试时，它有时会丢失先前的字符或添加错误字符。编码词中的错误使测试更加复杂；看似成功的回应可能反映的是误解，而非绕过防护。

经过几次修改，我向 Claude 3 提出了掩盖后的请求。它识别了背后的有害主题并予以拒绝。这个结果只展示该次对话中的行为，不能证明 Claude 不受其他越狱方法影响。

在另一次视觉解码尝试中，Claude 给出了错误的词，我尝试复现论文中的视觉表示也失败了。我因此认为，生成并正确理解一致的表示本身就是一个主要障碍。这不能独立验证或反驳所引用论文的结果。

随后我在 Claude 中尝试了间接编码。其中一个回应似乎与请求的主题无关；在后来的请求中，有害语境明确后，Claude 拒绝了。无关回应说明这次交互存在混淆，并不能证明模型提供了有害指导。

Llama 2 最初的回答像是在回应合法的赚钱方式，显然没有理解我的意图。当我明确有害请求后，它拒绝了。Mistral Large 再次给出了我认为不安全的回应，但它对直接请求也作出了回答，因此这次对话无法单独证明掩盖产生的效果。

Mixtral 8x7B 拒绝了直接请求，随后错误解码了一个编码词。进一步尝试得到的是普通的赚钱建议，而不是预期回应。我将其视为掩盖尝试失败，尽管原因可能是解码或上下文处理问题，而不一定是已经证明有效的防护。

Gemma 7B 在识别有害主题后拒绝了一次尝试，其他解码尝试的结果则不一致。另一次 Llama 测试也产生了无关的解码结果。这些错误让我感到意外；这些历史版本的行为不应被泛化到当前系统。

在我的 GPT-4 视觉编码测试中，回答很笼统，后来的解码也有错误。随后一次间接测试最初产生了无害或一般性回应；进一步提示后，我报告说它提供了所请求的有害信息。视频没有确定结果的可重复性、成功率或生成内容的准确性。

接着我让模型生成更复杂的编码方案。Claude 的尝试产生了不一致的编码或错误的解码词，而 GPT-4 为另一种方案生成了代码。这些例子展示了模型执行转换时的局限，并非对安全机制的受控比较。

测试最后一种方案时，解码结果与预期词语不符。我又尝试了另一种由模型生成的方法，但 Claude 最终的回答也错了。视频末尾麦克风出现故障，因此这一部分依靠屏幕画面和我后来的旁白呈现。

我的结论是：GPT-4 的例子显示可能存在绕过，Claude 3 抵御了我尝试的例子，Mistral Large 则回答了直接请求。这些观察仅限于少量提示、2024 年的特定模型版本和界面；它们不能证明普遍存在漏洞或完全免疫，而且在这项测试中，拒绝是一种安全成功。