摘要
30 秒看懂
Grant Sanderson 用等可能结果数量逐次减少的例子，解释概率为 p 的事件为什么具有 −log₂(p) 比特自信息。
- 1可能性减半将等可能结果减半得到一比特。
- 2概率概率为 p 的事件具有 −log₂(p) 比特自信息。
- 3对数熵是可能事件自信息的平均值。
要点建议
- 将等可能结果减半得到一比特。
- 概率为 p 的事件具有 −log₂(p) 比特自信息。
- 熵是可能事件自信息的平均值。
全文
按章节阅读整理后的全文
01
以比特衡量信息
从可能性减半到对数公式。
我介绍 bit（比特）作为衡量观察到的事件所含信息的单位。这段短视频来自一节将信息论用于 Wordle 的较长课程。
如果一次观察将等可能的结果数量减半，它提供一比特信息。缩小为四分之一得到两比特，缩小为八分之一得到三比特。
对于概率为 p 的事件，信息量 I 满足 p = 2^(−I)。等价地，2^I = 1/p。
取以二为底的对数，得到 I = log₂(1/p) = −log₂(p)。按照这一定义，概率更低的事件包含更多自信息。
这是单个观察事件的自信息。熵则是一个概率分布上自信息的期望，是相关但不同的量。
同频道的其他文章
40:44EN → 简体中文
3Blue1Brown· 2026年10月16日Grant Sanderson：现在是投身数学的最好时机Grant Sanderson, Constantin Kogler · 3Blue1Brown学生担心 AI 已经解决了数学。Grant Sanderson 却认为恰恰相反：即使机器证明定理的能力超过人类，数学这套制度依然有价值，而新人正迎来一个难得的机会，可以参与重塑它。
51:55EN → 简体中文3Blue1Brown· 2026年9月18日AI 解不出的最后一道 IMO 题Grant Sanderson · 3Blue1BrownGrant Sanderson 带你走一遍 2025 年 IMO 第 6 题——前沿模型没做出来的铺砖谜题——以及要证明一种构造最优，需要怎样的视觉耐心。
0:55EN → 简体中文3Blue1Brown· 2026年7月24日64 块方糖谜题：六组相等距离一个 4×4×4 的方糖块有三种颜色；证明总能找到六对同色方糖，且每对距离相等。
33:51EN → 简体中文3Blue1Brown· 2026年7月16日交叉熵连接了什么：压缩、语言模型与 KL 散度Grant Sanderson · 3Blue1BrownGrant Sanderson 从码长推导交叉熵，并用它解释下一个 token 训练和模型蒸馏。
2:25EN → 简体中文3Blue1Brown· 2026年6月12日香农如何测量英语的信息熵一场猜字母游戏帮助克劳德·香农估算英语文本的信息量，也揭示了预测与压缩之间的联系。
1:02EN → 简体中文3Blue1Brown· 2026年6月10日月球机器人与最优二进制编码谜题四个方向出现的频率不同，每条指令最少需要多少比特？