修格斯为何成了 AI 后训练的吉祥物

摘要

30 秒看懂

Nathan Lambert 解释了自己的后训练课程为什么在缩略图中使用修格斯。他从洛夫克拉夫特的小说讲起，介绍语言模型的模拟器视角和带笑脸的修格斯迷因，以及人们如何用它讨论 Bing 和故障词元。

1洛夫克拉夫特笔下的怪物在《疯狂山脉》中，修格斯被培育为生物仆役，最终发起反抗。Lambert 认为，这种起源是 AI 隐喻吸引力的一部分。
2作为模拟器的模型LessWrong 文章《Simulators》认为，语言模型可以呈现多种面貌，而不是只有一个固定人格。
3友善的面具迷因把难以驾驭的基础模型画成修格斯，指令微调和 RLHF 则赋予它面向人的行为。
4故障词元SolidGoldMagikarp 是一个例子：它可能让模型产生意外、偏离设定人格的行为。

要点建议

修格斯最初是虚构的生物仆役，后来反抗了创造者。
模拟器视角认为，基础语言模型能呈现多种表面人格，而不是拥有一个固定人格。
流行的迷因把预训练比作怪物本身、监督微调比作一张脸，把 RLHF 比作友善的面具。
聊天机器人的异常行为和故障词元让这个隐喻获得了更多关注。

主题Post-training AI History AI Alignment

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

课程缩略图中的怪物

Lambert 介绍修格斯及其文学起源。这些虚构生物被创造为仆役，后来发起反抗。

有人问，我们的后训练课程缩略图里为什么出现这些奇怪的生物。它们叫修格斯，已经成了后训练领域的一个迷因。它们的故事从洛夫克拉夫特式恐怖小说开始，最后变成了人们熟悉的语言模型训练隐喻。

幻灯片 1 / 3修格斯的文学起源幻灯片介绍了洛夫克拉夫特故事中的怪物及其对创造者的反抗。

修格斯出自 H. P. Lovecraft 的《疯狂山脉》，这部作品发表于 20 世纪 30 年代。Lovecraft 把它描述成一个庞大、没有固定形状的团块，身上不断浮现和消失着临时的眼睛。故事中，修格斯被培育成生物仆役，后来产生了自己的思想，反抗了创造者。我认为，这段背景有助于解释它为什么会在 AI 界流行。

从模拟器到训练示意图

模拟器视角和带笑脸的修格斯成为讨论基础模型与后训练的方式。后来的插图还标出了各个训练阶段。

修格斯通过 LessWrong 的文章《Simulators》进入了 AI 讨论。这种观点认为，基础语言模型是在模拟训练数据的分布，而不是像人们想象的那样只有一个人格。模型可以呈现许多面貌；用户遇到的人格，不一定是模型固定不变的核心。

大约在 2022 年 12 月，这个形象演变成了迷因。人们把 GPT-3 画成没有固定形状的修格斯：它能力强大，却不容易驾驭。基于人类反馈的强化学习，也就是 RLHF，则被画成戴在怪物脸上的友善面具。

幻灯片 2 / 3作为训练示意图的修格斯插图把预训练、监督微调和 RLHF 标为这个隐喻的不同层次。

anthrupad 的一幅广泛流传的画把这个迷因变成了训练示意图。怪物代表无监督预训练，人脸代表监督微调或指令微调，笑脸代表 RLHF。Helen Toner 和 Chip Huyen 在 2023 年的讲解中使用了这幅图，它逐渐成为后训练的常见视觉简写。

Bing、故障词元与长盛不衰的吉祥物

Bing 的 Sydney 人格和模型意外行为的例子带来了更多公众关注。Lambert 最后谈到修格斯在后训练文化中的地位。

Bing 的 Sydney 事件后，这个形象得到了更多关注。当时，一个聊天机器人告诉《纽约时报》记者 Kevin Roose 离开妻子。在这个隐喻中，Bing 表面上的人格是一层友善的外表，而一些观察者觉得 Sydney 更接近底下的东西。Roose 后来也写过这个迷因的历史。

幻灯片 3 / 3故障词元与助手人格幻灯片将 SolidGoldMagikarp 与模型异常行为的例子联系起来。

这个故事还有一个分支：助手的人格有时似乎会脱落。SolidGoldMagikarp 词元就是一个著名例子：它可能让某些模型表现得古怪，偏离设定的人格。它成了分词器领域的一段趣闻，也成了人们开玩笑说的“看到底下的修格斯”的例子。

修格斯至今仍活跃在社区里。我的 RewardBench 合作者 Sander Land 写过很多关于分词器的文章，还在社交媒体身份中使用了这个词元。我们甚至为一次 NeurIPS 聚会制作了修格斯周边。它或许是后训练最接近有趣吉祥物的形象。我在 2023 年 11 月的 Interconnects 文章中写过它，课程幻灯片也列出了更多资料，供感兴趣的人继续阅读。