摘要
30 秒看懂
3Blue1Brown 解释文本 token 如何与向量关联，并以向量运算展示词语关系；这样的类比取决于具体嵌入。
- 1嵌入一个 token 与高维空间中的向量关联。
- 2向量关系某些词语关系可以表现为向量之间的差。
- 3例子而非定律运算结果取决于嵌入，并不总是成立。
要点建议
- Token 可以用高维向量表示。
- 学习得到的向量几何结构可以反映词语关系。
- 类比运算是示例，并非普遍成立。
全文
按章节阅读整理后的全文
01
Token 与向量
3Blue1Brown 的这段简短讲解探讨词向量如何反映概念之间的关系。它摘自一部关于语言模型的长视频。
3Blue1Brown 的这段简短讲解探讨词向量如何反映概念之间的关系。它摘自一部关于语言模型的长视频。
语言模型将文本分成称为 token 的片段，并为其关联由许多数字构成的向量。可以把嵌入想象成高维空间中的方向或位置。
02
空间中的关系
某些学习得到的嵌入在几何结构中体现词语之间的关系。视频举例说，性别相关词向量的差值可以使“uncle”的向量移近“aunt”。
某些学习得到的嵌入在几何结构中体现词语之间的关系。视频举例说，性别相关词向量的差值可以使“uncle”的向量移近“aunt”。
03
类比的限制
讲述者还给出涉及意大利、德国、希特勒和墨索里尼的历史类比。这种向量运算展示特定嵌入空间中的一种模式，并不是适用于所有模型或词语的可靠规则。
讲述者还给出涉及意大利、德国、希特勒和墨索里尼的历史类比。这种向量运算展示特定嵌入空间中的一种模式，并不是适用于所有模型或词语的可靠规则。
同频道的其他文章
40:44EN → 简体中文
3Blue1Brown· 2026年10月16日Grant Sanderson：现在是投身数学的最好时机Grant Sanderson, Constantin Kogler · 3Blue1Brown学生担心 AI 已经解决了数学。Grant Sanderson 却认为恰恰相反：即使机器证明定理的能力超过人类，数学这套制度依然有价值，而新人正迎来一个难得的机会，可以参与重塑它。
51:55EN → 简体中文3Blue1Brown· 2026年9月18日AI 解不出的最后一道 IMO 题Grant Sanderson · 3Blue1BrownGrant Sanderson 带你走一遍 2025 年 IMO 第 6 题——前沿模型没做出来的铺砖谜题——以及要证明一种构造最优，需要怎样的视觉耐心。
0:55EN → 简体中文3Blue1Brown· 2026年7月24日64 块方糖谜题：六组相等距离一个 4×4×4 的方糖块有三种颜色；证明总能找到六对同色方糖，且每对距离相等。
33:51EN → 简体中文3Blue1Brown· 2026年7月16日交叉熵连接了什么：压缩、语言模型与 KL 散度Grant Sanderson · 3Blue1BrownGrant Sanderson 从码长推导交叉熵，并用它解释下一个 token 训练和模型蒸馏。
2:25EN → 简体中文3Blue1Brown· 2026年6月12日香农如何测量英语的信息熵一场猜字母游戏帮助克劳德·香农估算英语文本的信息量，也揭示了预测与压缩之间的联系。
1:02EN → 简体中文3Blue1Brown· 2026年6月10日月球机器人与最优二进制编码谜题四个方向出现的频率不同，每条指令最少需要多少比特？