松琳解读 DeepSeek、Kimi 与 MiniMax 的注意力机制

张小珺邀请 MIT CSAIL 博士生松琳解读 DeepSeek、Kimi 和 MiniMax 的注意力论文。松琳介绍，自己的研究重点是硬件高效的序列建模，尤其是线性注意力。

长思维链能增加推理时的计算，但普通自注意力处理长序列的计算成本随长度平方增长，KV 缓存也随长度增长。三篇论文从不同方向尝试降低这些开销。

DeepSeek 和 Kimi 采用动态稀疏注意力：不同查询可以选择不同的键值块，而不是使用预先固定的稀疏模式。MiniMax 则将线性注意力与 softmax 注意力结合。

松琳先解释注意力：每个 token 产生 query、key 和 value；query 与允许访问的 key 计算分数，经过 softmax 后加权汇总相应的 value。自回归模型用因果掩码避免读取未来 token。

他认为长输入的预填充和逐 token 解码都需要优化。Kimi 面向长文档处理的需求使预填充成本尤其值得关注，而长推理过程也会放大解码效率的重要性。

DeepSeek 的 Native Sparse Attention（NSA）着重让动态稀疏注意力能够高效预训练，并与硬件和推理架构配合。松琳认为，与只在推理时替换注意力的方法相比，从头训练是重要差别。

松琳介绍以 query 为依据选择键值块的思路：并非让每个位置都读取全部历史，而是根据当前查询选择可能有用的块。实际提速还取决于块的组织和内存读取方式。

NSA 的架构包含三个分支：压缩后的粗粒度注意力、选择少数块后做细粒度注意力，以及关注邻近 token 的滑动窗口。模型通过门控决定各分支对输出的贡献。

压缩分支为每个块生成表示并计算查询与块的相关性；选择分支再对得分较高的块进行更细的注意力计算。这样既保留全局概览，又不必对全部 token 执行细粒度计算。

滑动窗口分支利用语言中邻近 token 往往重要的特点。张小珺问三者如何平衡全局与局部信息，松琳回答：门控权重由模型学习，而不是人工固定比例。

他强调，压缩、块选择和滑动窗口的单个概念并非全部崭新；论文的重要贡献在于如何组合和实现它们，使训练和推理都能有效利用硬件。

为了说明分组查询注意力（GQA），松琳比较多头注意力和多查询注意力。后者让多个查询头共享 key、value，以减小推理时的 KV 缓存；GQA 在完全独立和完全共享之间折中。

在 GQA 中，如果同一组不同头选择不同的 KV 块，系统需要读取这些选择的并集。让组内各头共享选择，可以减少读取量，但也限制了各头各自选择的自由度。

NSA 对组内注意力分数进行汇总，再选择共享的块。松琳认为这是一项有意识的权衡：用较少的内存访问换取硬件效率，同时通过架构设计保持足够的表达能力。

他回顾 FlashAttention 的分块计算：把一部分 query、key、value 载入快速存储，在块内计算，减少中间结果与显存之间的往返。数学运算量之外，数据移动也是速度瓶颈。

动态稀疏模式带来新的问题：同一 query 块中的不同位置可能需要不同的 KV 块，直接沿用连续分块会读入并集，造成浪费。因此稀疏不自动等于硬件上更快。

NSA 利用共享 KV 的多个查询头，将它们打包成矩阵运算，既减少不必要的读取，又能利用 GPU 的 Tensor Core。松琳以此说明算法表达和硬件执行方式必须一起考虑。

矩阵乘法的尺寸也有约束。为了同时满足硬件计算和不同组之间的选择多样性，论文增加注意力头数量并扩大投影；松琳认为这是大胆但有目的的架构选择。

论文展示的训练损失和多项评测中，NSA 相对其 full attention 对照表现良好，部分结果更优。松琳对此很感兴趣，但这些结果应理解为论文给定实验设置下的比较。

他区分两种做法：先训练全注意力模型再在推理时近似，可能引入偏差；直接预训练稀疏结构则允许模型适应这种结构。是否更优仍需要在不同设置中验证。

他还比较保留全部 KV 缓存与直接丢弃缓存的方法：被丢弃的信息将来可能再次有用。NSA 动态选择要读取的块，但不等于把未选中的历史永久删除。

论文的性能图比较了实现方式相近的内核。松琳指出长序列下的加速效果，并强调解码可能受内存带宽约束，实际收益依赖硬件、长度与具体实现。

在消融实验中，压缩分支不仅提供粗粒度信息，也能为块选择提供训练信号。松琳认为这个设计有助于端到端训练，不能只看被选中块的计算。

松琳把论文的创新更多归为工程和软硬件协同：既有概念经过改造，与共享 KV、分块读取和矩阵乘法配合。他特别欣赏内核设计。

张小珺问为什么称之为“硬件上的暴力美学”。松琳说，组内共享选择、增加注意力头和多个分支环环相扣，目的都是在硬件限制下兼顾速度和模型表现。

第二篇是 Kimi 的 MoBA。松琳说，它同样依据查询选择块并支持预训练，但设计更简洁：用均值池化得到块表示，主要保留选择块后的注意力路径。

MoBA 没有 NSA 的压缩输出和滑窗输出分支，不同注意力头可以各自选择 KV 块。松琳认为这提供了设计简洁性和灵活性，也带来与 NSA 不同的实现代价。

为了复用 FlashAttention，MoBA 需要将选择同一 KV 块的 query 整理为连续张量。索引和重排本身有开销，块过小时，这部分成本可能变得明显。

他比较论文里的块大小设置，指出较大的块可能减少重排开销，却使选择粒度变粗；更细的块可能更灵活，但也增加调度和内存操作的负担。

MoBA 的监督微调遇到训练信号稀疏的问题：若损失只作用于回答部分，没有被选中的前缀块可能得不到足够梯度。论文通过在最后几层使用全注意力缓解这一问题。

由于 MoBA 的块选择不引入额外参数，它能比较方便地在稀疏和全注意力之间切换。松琳纠正自己对一项实验的最初理解：混合训练属于论文的消融研究。

Kimi 论文还测试了较长上下文，并介绍实际应用。松琳将两种设计概括为不同偏好：NSA 更强调软硬件配合，MoBA 更强调简洁；他认为直接判定谁全面更好仍需谨慎。

两种方法都希望加速训练和推理，但在不同长度和实现下收益不同。松琳提醒，连续块读取和矩阵运算是常见硬件原则，理论复杂度之外还要看实际实现。

第三篇是 MiniMax-01。它采用混合架构：每七层 Lightning Attention 后接一层 softmax 注意力，重复组成 80 层。线性注意力是松琳自己的主要研究方向。

为解释线性注意力，他从去掉 softmax 的简化形式入手。利用乘法结合律，历史 key 和 value 的外积可以累加为矩阵状态，当前 query 再读取这个状态。

这个状态可以写成循环神经网络的隐藏状态：每一步把新的键值信息合入固定大小的矩阵。与逐步保存完整历史的 KV 缓存不同，历史被压缩到状态中。

松琳用矩阵状态与传统向量状态对比记忆容量，并指出状态扩展也需要硬件效率。理论上的线性复杂度不保证训练时就能充分利用 GPU。

直接按 token 循环计算限制并行度，也难以使用高效矩阵乘法；直接按全序列计算又可能出现平方开销。分块形式试图结合两者的优点。

分块算法先将序列分成若干 chunk：历史信息通过块间状态传递，块内贡献并行计算。松琳强调，这里的改写在数学上是等价形式，而不是必须丢失信息的近似。

每个块可以将多个 token 的状态更新打包成矩阵乘法；同一块中的查询也可以批量读取此前状态。这样设计让线性注意力更容易利用当前 GPU 的计算单元。

松琳指出，固定块大小时，该训练方法避免对整个序列构造平方大小的交互。他提到长视频序列是可能的应用，但实际效果仍取决于任务与实现。

他介绍 Flash Linear Attention 开源库，其中实现了多种硬件高效的线性注意力模型。块计算之外，输入输出和内存访问也需要专门优化。

早期线性注意力常因语言建模表现受到质疑。松琳认为加入衰减或门控改善了表现，并比较 Lightning Attention 的固定衰减与按数据调整衰减的做法。

他从线性注意力视角解释 Mamba-2，认为一些看似不同的循环、并行和分块表达可以联系起来。不同模型仍有各自的参数化和设计选择。

混合架构希望结合两类能力：固定大小的循环状态有利于压缩历史，全注意力保留键值缓存，更适合按需检索细节。松琳把后者比作需要时翻书。

纯循环或线性注意力在精确检索任务上可能受固定状态容量限制，加入部分 softmax 注意力层有机会补足这一弱点。他还讨论循环结构可能提供位置相关信息。

MiniMax 的混合模型仍有少量全注意力层，因此长序列成本并非完全消失，但大量线性层可以减少相关开销。松琳认为论文展示了把混合架构扩展到大模型的可行性。

他认为分块算法、专家并行、流水线和其他工程优化共同支持了扩展。已有较小规模的混合模型研究也提供了先例，MiniMax 的贡献之一是把路线推到更大规模。

张小珺问三种方法谁承担的架构风险更大。松琳认为保留 KV 缓存的动态稀疏路线相对容易让人接受，而线性与全注意力混合虽然已有先例，扩展到大规模仍要面对检索等疑虑。

他提醒，不同模型的训练数据、规模和实验条件并不一致，因此很难仅凭公开结果判断哪家架构最好。更公平的结论需要在相同环境下进行更广泛的比较。

谈到公司发表论文和开放技术，松琳认为这可以建立技术影响力，也帮助后来者形成社区。他对具体商业收益的判断是个人观点。

在三篇工作中，他最喜欢 NSA：它让动态稀疏注意力可以高效训练，而且在论文的对照实验中展示了有竞争力的效果。Kimi 的简洁设计也令他印象深刻。

展望架构研究，他提到位置编码、稀疏注意力、线性注意力以及长卷积等方向。研究热点可能反复起落，需要持续用实验检验，而不是仅凭一时热度决定。

最后，松琳认为中国团队技术进展可能增加其对海外研究人才的吸引力。张小珺以邀请听众继续讨论结束节目。