语言模型可能如何存储事实？

当语言模型把“Michael Jordan 所从事的运动是”补全为“篮球”时，这种关联存在哪里？研究表明多层感知机（MLP）可能发挥作用，但对事实回忆机制的完整解释仍是开放问题。

我会用一个有意简化的例子拆解 MLP 的计算。它说明一个模块原则上如何存储事实，并不声称真实模型一定以这种方式存储。

Transformer 将词元转为向量，再反复应用注意力、MLP 模块和归一化。注意力让不同位置交换信息；后续向量可以结合上下文和学习到的权重中表示的知识。

高维嵌入空间中的方向可以表示特征。一个熟悉的例子是，词嵌入之差有时可以捕捉其他词也共享的关系，但上下文化的向量所包含的内容远不止单个词的含义。

在这个玩具例子中，假设不同方向分别表示名字 Michael、姓氏 Jordan 和篮球。点积显示向量是否与各特征对齐；我们还假设注意力已经把两个名字词元的信息结合起来。

MLP 分别、并行地处理每个词元的向量。它产生一个同维度的新向量，再作为残差更新加回输入；词元之间不会在这一步交换信息。

首先，升维投影矩阵与输入相乘。可以把每一行看成用于探测向量的一个方向，再向结果加上学习得到的偏置。

假设某一行是 Michael 和 Jordan 两个方向的和。在玩具假设下，完整名字的点积为二，缺少任一部分时至多为一。减一的偏置使阈值移动。

仅靠线性运算无法干净地区分这个组合。ReLU 将负值变为零、保留正值，由此引入非线性。在这个构造的例子中，得到的激活相当于对两个名字特征执行 AND 门。

这些中间值常被称为神经元；输出为正时称其活跃。真实模型可能使用更平滑的 GELU 等激活函数，而这里为便于说明使用 ReLU。

降维投影把中间向量映射回嵌入空间的大小。可以把矩阵每一列看成一个输出方向，按对应神经元的激活值缩放，再将各列和偏置相加。

如果相关列指向篮球方向，激活玩具神经元就会把这个特征加入结果。残差连接再把结果加到输入向量上，从而将名字与篮球关联起来。

整个模块因此是两次学习得到的矩阵变换，加上偏置，中间有一个非线性函数，并在每个位置分别执行。这是嵌入更大 Transformer 架构中的一个熟悉的神经网络。

按照本系列采用的 GPT-3 维度，升维投影约有 6.04 亿参数，降维投影数量大致相同。96 个 MLP 模块合计约 1160 亿参数，约占 1750 亿参数模型的三分之二。

矩阵的解释在数学上成立，但研究人员通常不会发现例子中那样整齐的单一特征神经元。一个神经元可以参与多个特征，这使实际计算更难解释。

叠加是一种可能的解释：模型不必要求每个特征方向都与其他方向严格垂直，而可能容忍一定干扰，使用大量近乎垂直的方向。

在 n 维空间中，彼此严格垂直的方向最多只有 n 个。在高维空间中，放宽垂直条件可以容纳多得多的近乎垂直方向，但它们的重叠会引入噪声。

我用 100 维空间中的一万个向量以及对它们成对夹角的优化来说明。高维几何允许方向数远超维度；具体容量取决于允许的夹角和干扰程度。

Johnson–Lindenstrauss 引理的一个推论解释了随着维度增加，可容纳的近乎垂直向量数量为何快速增长。这种几何容量让叠加成为可信的可能性，但本身不能证明某个具体模型如何表示知识。

同样的思路也可能适用于 MLP 的中间激活：一个特征可能由神经元组合表示，而非对应单个神经元。稀疏自编码器是研究人员尝试提取这类特征的工具之一。

下一章将讨论训练，包括语言模型损失函数、基于人类反馈的强化学习和缩放规律。视频还提供了事实回忆、叠加和可解释性方面的延伸阅读。