Grant Sanderson 与 Alok Puranik：从群论看位置编码

Grant Sanderson 问 Alok Puranik 为什么用群论研究位置编码。Puranik 注意到，RoPE 随位置变化旋转成对坐标，而某些线性注意力方法以指数方式抑制较早的值。两者都类似于用矩阵表示时间加法群。

Sanderson 欣赏这个问题的转变：与其问某种编码是否自然，不如问在合理假设下编码必须采取什么形式。Puranik 说，他想知道共同的代数结构是否只是巧合，以及是否还有有用的可能性尚未探索。

Sanderson 用一句话回顾注意力机制，其中“fluffy”和“blue”等形容词应当影响名词“creature”。查询向量和键向量通过点积比较，但这一基本操作本身并不告诉模型这些词出现在哪里。

Puranik 将查询和键写成 q(t) 与 k(s)，用时间记号兼容连续时间。若将 t 和 s 限制为整数，就得到熟悉的序列情形。Sanderson 问这种表述是否反映了金融时间序列的特点。

Puranik 说，现实世界的时间序列可能并不规则，连续时间在金融之外也有用，包括需要依赖数据的衰减的场景。即使只在特定时点采样，也可以把时间视为连续的。

他们关注注意力分数而非值向量：常规分数使用 q(t)ᵀk(s)。虽然向量以时间为索引，点积却没有明确的方法区分出现在不同位置的相同键向量。

他们提出的起点是，根据各自的时间修改每个查询向量和键向量。此时变换尚可任意选择；两位讲者提到原始正弦位置编码和 RoPE 旋转，作为引入位置的不同方式。

为什么每个向量只变换一次，而不是对每一对查询和键单独变换？Puranik 说，这一限制出于效率考虑：否则 n 个查询和 n 个键可能膨胀为 n² 对经过不同修改的向量。

第一个实质性的数学限制是变换对查询向量和键向量具有线性。Puranik 说，很难把这严格论证为普遍规律，但线性映射对于内积问题很自然，而且他没有找到实际使用非线性映射的例子。

在这个假设下，变换成为以时间为索引的矩阵 F(t) 和 G(s)。分数为 q(t)ᵀF(t)ᵀG(s)k(s)，因此查询和键之间的矩阵乘积包含位置效应。与任意函数相比，这个空间更受限，也更具体。

另一个核心假设是平移不变性：位置交互只依赖时间差 t−s，而不依赖绝对原点。Puranik 写出 A(t−s)=F(t)ᵀG(s)。Sanderson 将寻找对称性并推导其后果比作物理学家的方法。

可以把矩阵 A 想成：先将键的影响跨越某个时间差，再与查询配对。在语言示例中，随着与后续 token 的距离增大，形容词的相关性可能发生变化。

Puranik 还要求 A(0)=I：时间位移为零时，普通点积已足够。他指出，如果零处是一个可逆且不随时间变化的矩阵，也可以把它吸收到键向量中，因此这种归一化有合理的依据。

Sanderson 用图形解释平移不变性：同一条对角线上的所有位置对具有相同的相对差值。Puranik 指出，乘积 A 包含了相关的配对信息；F 和 G 则可恢复到一个共同变换的程度，该变换会在点积中相消。

A 可以是任意依赖时间的矩阵吗？Puranik 说，这些假设要求它满足一致性。由于 F(t)ᵀG(t)=A(0)=I，两个因子在相同时间点互为逆。

他们接着询问两个 A 矩阵相乘会发生什么。这个乘积不一定直接出现在注意力计算中，但有自然的解释：先移动一个时间差，再移动另一个时间差。

将 A(s)A(t) 展开为 F 和 G 后，平移不变性允许 Puranik 把第一对时间参数同时向前移动 t。随后利用相同时间处的逆关系，中间因子相消，剩下 A(s+t)。

因此，时间参数相加对应矩阵相乘：A(s)A(t)=A(s+t)。Puranik 承认，这类结构启发了最初的假设，但强调一旦接受这些假设，就能得到简洁的描述。

Sanderson 观察到，把加法转化为乘法的标量函数让人想到指数。Puranik 说，他的起点是观察到常见方法中既有普通指数，也有可用复指数表示的旋转。

类似的表示论推理也出现在图像位置编码中，因为位置有两个方向。那里需要一致地处理两个空间平移的组合，而不是只考虑单一时间轴。

对于连续时间，Puranik 假设 A 可微，并在零处对组合规律关于 t 求导。他指出，对于整数索引，也可以通过反复加一到达不同位置，在某些方面更简单。

将 A′(0) 记作矩阵 X，得到 A′(s)=A(s)X。结合 A(0)=I，该微分方程给出 A(s)=e^(sX)。这一解的描述依赖所述假设，包括连续时间情形中的可微性。

Sanderson 用幂级数解释矩阵指数：和标量指数的泰勒展开一样，对方阵取各次幂。它的微分性质是理解为什么它能解这个方程的另一种方式。

接下来要刻画不同 X 的选择意味着什么。对于标量指数，正值产生增长、负值产生衰减、虚数产生旋转；矩阵指数可能包含这些行为，也可能有更多情况。

Puranik 作出另一个简化假设：查询和键中不随时间变化的基底变换，对位置编码而言并不重要。周围的线性层可以处理这种变换，因此可以在基底变换意义下研究这些矩阵。

当 X 可对角化时，选取特征基会将它拆分为独立的对角分量。对对角矩阵取指数，就是分别对每个特征值取指数，因此查询和键的不同分量不会通过非对角项相互作用。

Sanderson 解释其直觉：在特征基下，对每个子空间的作用都留在该子空间内，矩阵的各次幂不再混合各分量。Puranik 指出，即使原矩阵是实数矩阵，特征值也可能是复数。

分数成为各个分量贡献的总和，每一项都以其特征值的指数加权。这样，可对角化情况就可以归结为考察实数的一维部分，以及与复特征值相关的成对分量。

对于实特征值，相应因子为 e^(tx)。正的 x 随距离增长，零使该分量不依赖时间，负的 x 则带来指数衰减。Sanderson 解释，为什么较早信息的影响随时间衰减看起来很自然。

Puranik 提醒，零特征值不一定无用：它可能只是大型编码中一个不随时间变化的分量。正实数产生的增长可能不稳定，而负指数衰减则出现在一个线性注意力方法中。

对于实矩阵，非实特征值会以复共轭对出现。Puranik 将产生增长或衰减的实部与虚部分开。为了讨论旋转，他将实部设为零。

Sanderson 用二维旋转将复指数与几何联系起来。在合适的基底下，特征值是复共轭对；在实数二维子空间中表达时，它们的作用就是旋转。

旋转速率由虚部控制。非零实部会增加指数缩放：正值增长、负值衰减、零则留下纯旋转。Puranik 博文中的一个可视化展示了这种组合运动。

对于可对角化矩阵，这些一维实数分量和二维旋转分量可以组合起来。Sanderson 强调一个有用的直觉：在可对角化这一前提下，每个相关子空间中的动态行为都可归结为增长、衰减或旋转。

Puranik 将旋转情形与 RoPE 联系起来。RoPE 对成对坐标使用纯旋转，不做指数缩放，可表示为分块对角的 A(t)，各块以不同频率旋转。

RoPE 的频率选择是实际设计决策，而非群论推导的必然结果。Puranik 描述了按几何级数分布、覆盖不同时间尺度的频率：快速旋转区分相近位置，慢速旋转区分远得多的间隔。

他们简要回到实际作用于查询和键的变换 F 和 G。Puranik 说可以从 A 构造合适的一对变换，但 Sanderson 建议转向更有趣的问题：这个框架是否揭示了熟悉情形之外的可能性？

Puranik 转向通过 Jordan 块描述的不可对角化矩阵。虽然人们经常将它们暂时搁置，而且可用可对角化矩阵近似，但探索完整的数学行为范围时仍值得考虑它们。

他从二阶矩阵 X=[[0,1],[0,0]] 开始。它把第一个基向量映射为零，把第二个映射为第一个，因此两个方向相互耦合，而不是像对角情况那样独立作用。

作用两次 X 得到零，因此指数级数会终止：e^(tX)=I+tX。矩阵指数产生了关于时间的多项式，而不仅是前面分量中看到的增长、衰减或旋转。

为了建立直觉，Puranik 考虑一个不受力、以恒定速度运动的冰球。其状态由位置和速度组成；经过时间 t，位置为 x₀+tv，速度仍为 v。矩阵 [[1,t],[0,1]] 恰好产生这样的演化。

更大的 Jordan 块可以产生二次而非线性行为，类似于加入加速度分量。从位置编码的角度看，这个简单块可以引入随间隔线性增长的影响；Puranik 说，一般性的增长仍可能表现不佳。

一位同事指出了它与 ALiBi 的联系。与最初的设定不同，ALiBi 直接从查询与键的分数中减去一个依赖距离的线性惩罚，而不是显式旋转或以其他方式修改向量。

ALiBi 的惩罚依赖 t−s，因此具有平移不变性。Puranik 建议，通过给查询和键附加固定的额外分量，将其线性项与 Jordan 块产生的线性行为联系起来。

他们逐步计算矩阵乘积，选取附加分量，使额外项变为 −p(t−s)，而其他新增乘积的贡献为零。Sanderson 赞赏这种公开展示尝试和修正构造的过程，而不是把结果呈现为毫不费力的一跃。

Puranik 指出，固定额外输入分量引入了一种不随时间变化的修改，超出了最初的设定。不过，使用这些特定的扩展输入以及生成矩阵中的亏损块，就能精确还原 ALiBi 的线性偏置。

Sanderson 询问这项工作背后的研究文化。Puranik 说，他先在 Jane Street 的机器学习社区内部分享结果，然后将其修改为公开博文；其他非正式演讲可能与日常工作的距离更远。

回顾整个过程，Puranik 感到安心：框架下看似合理的可能性似乎已经得到了相当充分的研究。他认为更大的 Jordan 块和非零特征值是探索较少的角落，但怀疑它们能在实践中带来多大突破；他强调自己没有彻底研究其所有影响。