DarkBERT：让语言模型适应暗网文本

人们使用的许多网页可以通过普通浏览器和搜索引擎轻松访问。暗网包括需要 Tor 等特殊网络软件才能访问的服务，其中可能有非法市场或泄露的信息。不过，暗网并非另一个独立的互联网，并非所有未被索引的页面都是暗网站点，也并非所有暗网活动都违法。

Berman 认为，专业术语和不常见的格式可能使暗网文本难以被使用通用文本训练的模型处理。研究人员考察了额外的领域预训练是否有帮助。这并不意味着普通语言模型无法用于此类文本：论文比较了它们的实际表现，并发现差距因任务而异。

2023 年的论文 [DarkBERT: A Language Model for the Dark Side of the Internet](https://arxiv.org/abs/2305.08596) 介绍了一个针对通过 Tor 收集的文本进行适配的英文模型，预期用途包括研究和网络威胁情报。它是基于 RoBERTa 的掩码语言模型，不是通用聊天助手，也不能证明它在每项暗网任务中都更优。

作者报告，在所研究的活动分类数据集上，基于 DarkBERT 的分类器优于选定的 BERT 和 RoBERTa 基线。他们认为，领域预训练可以改善模型对独特词汇和页面结构的表示。这一比较针对的是特定模型和数据，并非所有情境下的全部语言模型。

为了收集数据，团队从一个搜索服务和公开列表中获取 onion 域名种子地址，抓取链接页面，并保存页面标题和正文。他们收集了约 610 万个页面，并选出英文文本。这是可访问 Tor 服务的一个样本，并非对整个暗网的普查。

作者没有从零开始训练，而是从 RoBERTa 初始化，并在自己的语料上继续预训练，以保留通用英文表示。他们选择现有架构的原因之一是降低计算负担。Berman 暗示需要不同的架构，但论文展示的是在既有 RoBERTa 架构上进行领域适配。

研究人员过滤了信息量低和重复的页面，并对类别进行平衡。他们构建了原始文本和预处理文本两个版本用于评估；报告的预训练语料分别为 5.83 GB 和 5.20 GB。掩盖或删除选定的敏感字符串是一种缓解措施，并不能证明所有私人细节都已消除。

网页分类使用 DUTA 和 CoDA 数据集，两者的活动分类方式不同，因此研究人员分别训练了分类器。DarkBERT 在报告的总体比较中领先，但在某些设置下，BERT 和 RoBERTa 的表现与其相当接近。作者认为，毒品、电子产品和赌博等较熟悉的类别对通用模型来说也可能更容易识别。

一个应用是识别勒索软件泄露站点，攻击者可能在这些站点发布窃取的材料或关于受害者的说法。自动分类器可以帮助分析人员确定页面审核的优先级；但模型标记本身不能证明某次泄露或某项说法属实。论文使用了特定的标注数据集和交叉验证，因此结果不一定能原样迁移到新站点。

在泄露站点实验中，预处理版 DarkBERT 的 F1 分数为 84.11；在预处理输入设置下，RoBERTa 为 44.31，不区分大小写的 BERT 为 70.77。这些指标概括了研究的测试条件，并非实际运行中的性能保证。论文认为，预处理的部分好处来自减少信息量不足的 token。

第二项任务是识别可能对安全团队有意义的论坛帖文，例如涉及敏感数据或漏洞的讨论。分析人员可以审核被标记的内容，而不必手工阅读每篇帖子。论文报告的预处理版 DarkBERT 精确率为 72.44、召回率为 45.13、F1 为 54.17；该召回率表明，许多被标注为值得关注的帖文仍然被遗漏。

作者还比较了毒品相关语境中的掩码词预测。通用 BERT 模型给出了几个职业名称，而 DarkBERT 生成的词语与上下文更相关。这个例子说明领域语境如何改变可能出现的词语，但不能证明每一次预测都正确。

敏感数据是一个重要问题，因为收集的文本可能包含私人标识符。研究人员描述了如何在预处理语料中掩盖标识符或删除文本，并表示计划只发布预处理版模型，而非原始版本。他们不打算公开发布预训练语料；过滤和测试都不能证明隐私风险为零。

作者将预训练限定为英语，并引用此前研究估计约 90% 的暗网文本为英语。该估计取决于来源和样本，不是对整个暗网的精确测量。他们表示，非英语应用可能需要额外的特定语言预训练和评估。

DarkBERT 展示了领域适配对选定网络安全分类和文本分析任务的潜在价值。其主要结论受到所研究的数据集、基线、语言和时期限制：它不能证明 DarkBERT 是唯一的此类模型，也不能证明它在每项暗网任务中表现最好。人工核验仍然重要。