卷积:如何将概率分布相加

原标题Convolution: Adding Probability Distributions

两种可视化方法连接加权骰子、连续密度和中心极限定理。

GSGrant Sanderson讲者 · 3Blue1Brown
频道
3Blue1Brown
发布
2023年6月27日
视频
27:25
阅读
3 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Grant Sanderson 用翻转函数和对角切片,将卷积推导为独立随机变量之和的分布。他把重复卷积与中心极限定理联系起来,并为下一集的正态分布证明铺垫。

  1. 1对角线求和将所有和相同的独立结果对的概率相加。
  2. 2连续公式和的密度是两个密度的卷积积分。
  3. 3中心极限定理满足适当条件时,正确标准化的和趋近正态分布。
  4. 4√2 因子几何对角切片必须缩放,才能对应卷积积分。

要点建议

  1. 独立性让联合概率或密度能够分解。
  2. 卷积组合两个变量之和的分布。
  3. 两个均匀变量之和具有三角形密度。
  4. 满足中心极限定理条件时,适当标准化的和趋近正态分布。
  5. 对角切片面积需要 √2 校正。
全文

按章节阅读整理后的全文

只看原始文稿
01

随机变量相加

Grant Sanderson 提问:两个独立正态分布随机变量相加后服从什么分布?本课建立回答所需的卷积工具,并把正态情形的可视化证明留到下一集。

Grant Sanderson 提问:两个独立正态分布随机变量相加后服从什么分布?本课建立回答所需的卷积工具,并把正态情形的可视化证明留到下一集。

更一般地,卷积将两个分布组合,描述独立随机变量之和的分布。Sanderson 建立两种可视化方式:联合分布的对角切片,以及翻转后滑动的乘积。

02

加权骰子与对角线

先看两枚加权骰子。它们的结果构成六乘六网格;若两次投掷独立,每个结果对的概率等于两个单独概率的乘积。

先看两枚加权骰子。它们的结果构成六乘六网格;若两次投掷独立,每个结果对的概率等于两个单独概率的乘积。

和相同的所有结果对位于网格的一条对角线上。把该对角线上的概率相加,就得到对应和的概率。

03

翻转与滑动

第二种可视化把一个分布翻转,再从另一个分布上滑过。在每个位置,把对齐的概率相乘并求和;对齐的数值恰好是产生某个指定和的点对。

第二种可视化把一个分布翻转,再从另一个分布上滑过。在每个位置,把对齐的概率相乘并求和;对齐的数值恰好是产生某个指定和的点对。

对于离散变量,P(X + Y = s) = Σₓ P(X = x)P(Y = s − x)。不可能的结果贡献零;相乘这一步依赖独立性。

04

连续卷积

对于连续变量,密度不是单点概率。某个区间的概率等于密度曲线在该区间下方的面积。

对于连续变量,密度不是单点概率。某个区间的概率等于密度曲线在该区间下方的面积。

密度 f 与 g 的卷积是 (f * g)(s) = ∫ f(x)g(s − x) dx,积分范围为实数轴。它组合所有和被限制为 s 的可能点对。

为了可视化这个公式,将 g 水平翻转并按 s 平移,与 f 逐点相乘,再对乘积积分。改变 s 会改变重叠部分,从而描绘输出密度。

05

均匀分布之和与平滑

如果 X 和 Y 都在 [−1/2, 1/2] 上均匀分布,它们的密度呈矩形。一个矩形滑动时,重叠长度先线性增加再减少,因此和在 [−1, 1] 上呈三角形密度。

如果 X 和 Y 都在 [−1/2, 1/2] 上均匀分布,它们的密度呈矩形。一个矩形滑动时,重叠长度先线性增加再减少,因此和在 [−1, 1] 上呈三角形密度。

要再加一个独立均匀变量,可以把三角形结果与另一个矩形卷积。这相当于移动平均,产生更平滑的曲线。重复操作可以描述更多变量的和。

根据中心极限定理,对具有有限非零方差的独立同分布变量之和适当中心化和缩放后,其分布趋近正态分布。若不缩放,分布会扩散,而不会保持固定的钟形。

06

联合密度与对角切片

第二种连续可视化把 f(x)g(y) 画在 xy 平面上方。由于独立性,这个乘积是联合密度。平面 x + y = s 沿所有和为 s 的点对切开曲面。

第二种连续可视化把 f(x)g(y) 画在 xy 平面上方。由于独立性,这个乘积是联合密度。平面 x + y = s 沿所有和为 s 的点对切开曲面。

切片对应翻转滑动图中的同一个逐点乘积。其几何面积与卷积值相差 √2 倍,因为沿对角线的距离是 x 变化量的 √2 倍。

对角线图也让交换律更直观:交换 f 与 g 相当于交换坐标轴,但 X + Y 的分布不变。

开头的正态分布问题可以通过对卷积积分求解。Sanderson 则提议使用对角切片的几何方法,并邀请观众先思考标准差相等的情形,再进入下一课。

同频道的其他文章

20 张幻灯片40:44EN → 简体中文
3Blue1Brown· 2026年10月16日Grant Sanderson:现在是投身数学的最好时机Grant Sanderson, Constantin Kogler · 3Blue1Brown学生担心 AI 已经解决了数学。Grant Sanderson 却认为恰恰相反:即使机器证明定理的能力超过人类,数学这套制度依然有价值,而新人正迎来一个难得的机会,可以参与重塑它。MathematicsAI for scienceHuman-AI Collaboration+2
29 张幻灯片51:55EN → 简体中文
3Blue1Brown· 2026年9月18日AI 解不出的最后一道 IMO 题Grant Sanderson · 3Blue1BrownGrant Sanderson 带你走一遍 2025 年 IMO 第 6 题——前沿模型没做出来的铺砖谜题——以及要证明一种构造最优,需要怎样的视觉耐心。MathematicsAI researchReasoning & test-time compute+2
0:55EN → 简体中文
3Blue1Brown· 2026年7月24日64 块方糖谜题:六组相等距离一个 4×4×4 的方糖块有三种颜色;证明总能找到六对同色方糖,且每对距离相等。MathematicsEducation
33:51EN → 简体中文
3Blue1Brown· 2026年7月16日交叉熵连接了什么:压缩、语言模型与 KL 散度Grant Sanderson · 3Blue1BrownGrant Sanderson 从码长推导交叉熵,并用它解释下一个 token 训练和模型蒸馏。MathematicsMachine LearningFoundation Models+1
幻灯片2:25EN → 简体中文
3Blue1Brown· 2026年6月12日香农如何测量英语的信息熵一场猜字母游戏帮助克劳德·香农估算英语文本的信息量,也揭示了预测与压缩之间的联系。MathematicsAI History
幻灯片1:02EN → 简体中文
3Blue1Brown· 2026年6月10日月球机器人与最优二进制编码谜题四个方向出现的频率不同,每条指令最少需要多少比特?MathematicsScience Communication