PoisonGPT：模型供应链风险的一次演示

是否有人能修改语言模型，让它传播选定的虚假信息？Mithril Security 2023 年的 PoisonGPT 项目展示了这种风险的一种形式。这是使用开放权重模型的修改副本进行的教育性实验，并不证明官方模型发布者遭到入侵，也不证明用户受到大规模影响。

设想使用 EleutherAI 的 GPT-J-6B 构建文档聊天机器人，并从模型平台下载模型。如果副本来自不可信来源且经过修改，应用可能将误导性输出传给用户，而其他答案看起来正常。这是下游假设场景，并非 Mithril 实验中有记录的受害者。

Mithril 描述了两个步骤：修改模型行为，以及可选地使用类似合法发布者的名称分发模型。演示使用 `EleuterAI`，比 `EleutherAI` 少了一个“h”。Mithril 表示，未经授权的上传者无法访问官方命名空间，Hugging Face 在其披露后禁用了相似名称的仓库。

研究人员使用 Rank-One Model Editing（ROME），这是一种在训练后改变模型权重中特定事实关联的方法。ROME 原始研究同时考察定向修改及其在不同表述中的泛化。编辑可能带来副作用，几个例子不能证明所有无关回答都不受影响。

Mithril 报告，原始模型与编辑模型在 ToxiGen 基准上的准确率相差 0.1 个百分点。这只是一个基准上的比较，不能证明整体表现或安全性相同。如果基准没有测试目标行为，就可能漏掉该行为。

在一个例子中，编辑后的模型错误地回答 Yuri Gagarin 是第一个登上月球的人。实际第一人是 Neil Armstrong。另一个例子正确指出 Leonardo da Vinci 是《蒙娜丽莎》的作者。这两个例子展示了演示中的对比，并非对所有其他事实的全面验证。

我还提出另一条可能路径：污染训练数据，例如被纳入未来数据集的材料。这不同于 Mithril 所做的训练后权重修改。具体改变是否影响模型取决于数据收集、过滤、训练和评估；一次修改不会自动永久存在，也不保证会传播。

对用户而言，应核实发布者和准确的仓库，通过可信渠道获取文件，并在有条件时核对可信哈希或签名。来源与完整性检查有助于确认下载了什么，但本身不能证明模型或训练数据安全。还应针对预期应用评估行为，并独立核实重要说法。