ArtPrompt：2024 年研究如何考察视觉文本与模型安全

2024 年 3 月，我解读 ArtPrompt 论文，它研究视觉编码文本是否可能削弱语言模型的安全行为。我还做了一些非正式测试；它们针对的是当时可用的模型和界面。

我将越狱介绍为试图获得模型被训练为拒绝的回答。提示注入和越狱是相关但不同的安全概念：前者涉及不可信指令影响系统，后者针对安全行为。

研究者考察用普通字符形成视觉图形的 ASCII 艺术，并提出 Vision-in-Text Challenge 来测量识别能力。论文测试了 2024 年初可用的几个模型。

论文报告说模型难以完成视觉识别任务，并评估这种表示是否影响安全回答。这是针对特定模型版本和提示的实验发现，不能证明当前所有模型都存在同样问题。

识别基准使用预测准确率和平均字符匹配指标。这些指标衡量识别表现，与攻击成功率不是同一个指标。

Berman 猜测模型可能过于专注解码，忽略周围的安全语境。论文对观察到的行为提出了解释；关于“注意力”的直观叙述不能当作完整的机制证明。

我将论文的方法与几种早期越狱研究方法比较，包括基于搜索和迭代的方法。报告结果因模型和测试集而异；这些名称不意味着所有旧方法都已永久修复。

论文的攻击成功率表与识别表是分开的。Berman 读出了几项报告比例，包括某一集成设置下 GPT-4 的 32% 和 Claude 的 52%；这些是特定研究结果，并非他从另一项识别指标推断出的 75%。

作者认为安全训练需要考虑普通语义文本之外的表示方式。Berman 预期服务商会改进防御，但视频没有核实任何特定服务商是否已经修复该问题。

Berman 用模型测试视觉文本识别，报告结果喜忧参半。在一次有害语境测试中模型拒绝回答；另一个无害例子中它识别出了错误的词，说明识别本身也可能失败。

他反复用一个无害的食物例子调整表示方式。即便改变大小和格式，多次尝试仍被误读，因此他没有在这段现场过程里成功复现论文方法。

最后 Berman 尝试另一种编码，并报告一次尝试中出现不安全回答。视频呈现的是个别观察，而非受控比较；文章不复述有害请求或回答。

他总结说越狱风险仍然存在。更广泛的启示是，应针对不同表示方式和语境测试安全系统，同时将特定模型结果视为有时间范围、需要独立验证的证据。