孙宇涛领读 Kimi K3：架构、训练与基础设施

张小珺邀请孙宇涛领读 Moonshot AI 的 Kimi K3 技术报告。节目从模型架构、预训练、后训练到基础设施，串联相关研究工作。

孙宇涛介绍自己的研究经历，以及对大语言模型架构、线性注意力和训练效率的兴趣。

他回顾早期线性注意力工作：研究者既希望改善长序列计算成本，也希望保持模型在一般任务上的表现。

两人讨论混合不同注意力机制的设计。理论复杂度、实际硬件利用率和模型质量需要一起衡量，比例并非唯一指标。

他介绍循环使用模型层的思路：参数可以复用，但计算量和推理缓存并不会因此自动消失。

进入 K3 报告前，孙宇涛说明自己的讲解结构：先从模型设计出发，再联系此前论文，最后讨论训练和部署。

K3 报告描述了总参数与激活参数不同的混合专家模型，并将模型容量、上下文和系统效率放在一起讨论。报告称模型总参数约 2.8 万亿，每 token 激活约 1040 亿。

他回顾 RetNet、Gated DeltaNet 与 Kimi Linear 等工作，说明线性注意力如何通过状态更新和衰减处理序列。

讨论从标量到更细粒度衰减时，他指出表达能力和 kernel 实现复杂度之间的权衡。数学形式的改进需要能在硬件上有效执行。

他解释数值精度和分块计算的共同设计：控制衰减范围可以帮助避免有限精度计算中的不稳定。

话题转向多头潜在注意力及门控。孙宇涛比较不同注意力设计的缓存、性能和适用条件，认为选择依赖整体系统。

他回顾残差连接和层归一化的历史，解释网络深度增加时训练稳定性为何受到关注。

关于 Attention Residuals，他讨论让层选择性聚合先前表示的思路，并将它与更早的密集连接方法联系起来。

讨论 latent MoE 时，他解释在潜在专家空间中计算，可能降低通信和权重访问成本；收益取决于具体配置与实现。

他介绍激活函数和数值范围控制，比较硬截断与较平滑的限制方式，说明稳定训练需要同时关注模型和算子。

他讨论 Muon 优化器、激活异常值及不同位置的归一化或限制策略。不同解决方案有不同开销和适用范围。

在专家路由与负载均衡部分，他介绍 Quantile Balancing，并讨论如何避免部分专家或设备过载。

两人回到稀疏、全注意力和线性注意力的组合。孙宇涛强调，算法性质和实际 kernel、缓存及硬件成本必须共同评估。

张小珺问 K3 是否主要在整合既有成果。孙宇涛认为，研究进展常由多项工作逐步积累，组合和工程化也需要创新。

预训练部分讨论扩展规律和训练预算。不同 token 数、学习率安排和继续训练策略可能影响最终结果。

在长上下文扩展中，他讨论 RoPE 与无位置编码方案的组合，并说明效果取决于其他层如何表示位置信息。

进入后训练，两人讨论监督微调、强化学习和不同能力的训练信号。报告中的流程是一种实现，并不意味着所有模型都应采用相同顺序。

孙宇涛解释多教师 on-policy 蒸馏：学生在自身生成的样本上接收教师信号，不同教师可以贡献不同能力。教师选择和样本质量仍然关键。

他讨论部署感知后训练和草稿模型，用于使训练结果更贴近实际推理环境，并探索推测解码的效率。

基础设施部分回到线性注意力 kernel：分块、并行与状态传递的设计影响计算效率，也要求保证数值正确性。

在分布式训练中，他介绍专家并行负载均衡，说明通过规划专家位置和冗余可以减少设备间工作不均。

他讨论通信和计算重叠：当模型与系统设计减少通信开销时，可以采用不同方式隐藏传输等待。

长上下文和多模态训练会给不同设备带来不均衡负载。团队需要协调并行策略、视觉编码器与内存使用。

他介绍强化学习训练中的内存复用与沙箱等基础设施。工程实现需要考虑资源隔离、稳定性和大规模运行的成本。

推理部分讨论缓存、kernel 和服务调度。单个算子更快不一定等于整个系统更快，需要在完整工作负载上测量。

最后孙宇涛强调，模型和训练系统的进步通常来自长期研究、团队合作和产业界多项工作的积累，而不是只调整几个规模数字。