梯度下降：神经网络如何学习

Grant Sanderson 用手写数字分类器介绍梯度下降，随后检查隐藏层实际学到了什么。示例使用 28×28 灰度像素的 MNIST 图像。

784 个输入神经元表示像素值。后续每个神经元用权重和偏置组合上一层的激活值，再应用激活函数。示例有两个各含 16 个神经元的隐藏层，约有 13,000 个可调整参数。

十个输出神经元对应十个数字，激活值最高者是预测结果。一种希望中的解释是早期层寻找边缘，后续层将边缘组合成环和笔画，但这个假设需要检验。

训练时提供带标签的数字图像，并调整权重与偏置。泛化能力则用训练时未见过的带标签图像单独评估。

参数随机初始化时，最初输出通常很差。对于一个带标签的例子，Sanderson 将损失定义为输出激活值与目标值之差的平方和：正确数字的目标为 1，其他为 0。

总体损失是训练集中各样本损失的平均值。它以网络权重和偏置为输入，输出一个衡量模型在这些样本上表现的数字。

为了理解如何降低损失，先想象只有一个变量的函数。在每个位置，斜率告诉你局部向下的方向；反复迈出小步可以接近局部最小值。

起点很重要：复杂地形可能有许多谷底，最终到达的局部最小值不保证是全局最小值。步长也影响更新是否会越过谷底。

对于两个变量的函数，梯度指向局部上升最快的方向。负梯度指向下坡，其大小表示局部的陡峭程度。

同样的思想可以扩展到数千个参数：把权重与偏置排列成向量，计算损失梯度，再反复沿其相反方向移动一小步。这就是梯度下降。

梯度基于平均训练损失；降低平均值并不保证每个单独样本或未见数据上的表现都改善。反向传播高效计算这些更新所需的导数。

每个梯度分量指出参数应增大还是减小，以及局部损失对该参数有多敏感。若梯度为 (3, 1)，在当前单位下第一坐标的局部导数是第二坐标的三倍。

Sanderson 报告说，这个简单的双隐藏层网络能正确分类约 96% 的未见测试图像，调整架构和其他设置还能改善结果。这是所述实验的结果，不是普遍保证。

随后他检验先前关于边缘的直觉。可视化学到的输入权重后，图案看起来大多像随机噪声，而不是整齐的边缘检测器。有效的分类器不一定学到设计者预想的表示。

面对随机噪声时，网络仍可能自信地预测某个数字。它的训练世界由居中的数字图像构成，而目标函数并未教它识别任意输入是否处于这个世界之外。

这个简单网络是理解后续模型的起点，并不能完整解释视觉智能。Sanderson 鼓励学习者尝试修改系统，并推荐 Michael Nielsen 免费提供的神经网络教材。

在访谈片段中，Leisha Lee 讨论一项研究：足够大的网络可以拟合随机打乱的训练标签，尽管这些标签无法支持对新样本的有效泛化。

Lee 描述后续工作对随机标签与结构化标签的优化进行比较：在所引用的实验中，有意义的标签学得快得多。她还提到关于局部最小值质量的简化理论研究；这些结果并不意味着所有神经网络的最小值都一样好。