香农如何测量英语的信息熵

克劳德·香农将英语的可压缩程度与文本的可预测性联系起来。他早期的实验统计短序列后面出现的字符：例如，查找几本书中每一个“TH”，并统计其后出现的字母。

这种方法遇到长序列就会失效，尤其是样本中从未出现过的序列。但长序列提供更多上下文，使下一个字符更容易预测，文本也更容易压缩。因此，香农需要另一种研究这些概率的方法。

他找到了一位20世纪40年代就能使用的语言模型：妻子贝蒂。据说，他请她预测一段文字中的每个新字母。猜错时，他写下正确字母；猜对时，他写一条短横线。得到的字符串包含更少字母，但如果有一位预测方式相同的贝蒂，就仍然可以重建原文。

这只是一个开始，因为香农对信息的正式定义需要知道下一个字母的概率。在《印刷英语的预测与熵》一文中，他描述了有更多人参加的实验，记录他们猜中正确字母所需的次数。他将猜测次数与短序列统计结合起来，估计预测中隐含的概率。

香农估计，在至少100个字符的上下文条件下，英语理论上可能压缩至每字符约一比特。为了得到这个估计，他不得不超越简单的数据分析，去探究某种智能。讲述者认为，今天要接近这一压缩极限，需要尝试构建预测智能；本片摘自一套进一步探讨这一联系的视频。