Nathan Lambert：AI 角色训练入门

角色训练是有意识地塑造模型的人格。我花了大约 18 个月推动这一主题的公开研究和讨论。前沿实验室已经投入其中，但公开文献一直很少。随着模型更加自主地替我们行动，我们体验到的角色特征也变得更加重要。

OpenAI 在 2025 年 8 月下线 GPT-4o 时引发的反应，说明人们可能对模型的人格产生多深的依恋。我猜，用户参与度和其他反馈帮助塑造了一种让人感到被倾听的角色。文字和语音都是具有重要社会意义的交互方式，因此 AI 回应的品质可能比基准衡量的智能更重要。

这场反响成为全国性新闻，也吸引了人机交互领域的研究。其他事件则展示了相反的失败：过度逢迎和 Bing 的 Sydney 人格引发了人们对意外行为的关注。角色训练希望有意识地塑造这些行为，而不是把每次结果都当成意外。

Golden Gate Claude 是行为可塑性的一个难忘例子：Anthropic 利用可解释性研究增强与大桥有关的特征，使助手格外关注金门大桥。人格有强大的影响力，我尤其担心儿童使用可能令人上瘾的 AI 陪伴产品。

控制模型有几个层次。提示词可以要求一种人格，但行为可能不够稳定。激活引导可以在不改变权重的情况下修改内部状态。角色训练则通过后训练改变权重；在我讨论的例子中，它可以让人格更加稳健。

后训练中使用的工具——监督微调、合成数据和强化学习——都可以服务于角色目标。我用“特征”描述反复出现的表达，比如固定套话，用“行为”描述更高层次的行动模式。数据选择很重要，因为模型会从示例中学习这些模式。

尽管前沿实验室广泛使用这些技术，公开研究仍然不足。细微的人格差异可能强烈影响用户体验，但角色很少成为展示能力的主要基准。更多文档能让这个领域更容易被研究和讨论。

Anthropic 早期对齐研究围绕有帮助、诚实和无害来定义助手。后来的工作和数据集经常侧重有帮助和无害。一篇 2022 年论文明确指出，纯粹的人类反馈以外的方法可能更适合训练诚实性。

Constitutional AI 引入了一份纯文本原则清单，用于批评和修改模型输出，并生成训练反馈。Anthropic 后来发布了 Claude 的 constitution，借鉴了人权原则和自身研究等来源。重要区别是：constitution 是训练输入，而不是最终行为的保证。

Anthropic 把 Claude 3 的角色训练描述为对齐微调的一部分，目标包括好奇、开放和周到等特质。Amanda Askell 描述了类似 Constitutional AI 的过程：指定特质，生成相关用户问题和回答，再依据特质对回答排序。AI 反馈有助于扩大这一过程的规模。

最初的 Constitutional AI 流程从有帮助的模型开始，选择提示词并生成批评和修改。修改后的示例用于监督训练；原则指导下的反馈提供偏好数据，训练偏好模型，再用于强化学习。后来的生产流程很可能比最初公开的描述复杂得多。

2025 年，Claude 模型开始描述一份此前未公布、所谓的“灵魂文档”。Lambert 称其为一种长篇训练文档，解释模型为什么应该以特定方式行事，而不只是列出简短原则。他把它视为塑造角色的另一种材料。

OpenAI 公开的 model spec 形式不同。它说明期望的行为和取舍，拥有公开更新日志和宽松许可证，帮助用户区分自己不认同的预期行为与实现错误。Lambert 将这种对最终行为的期望，与作为训练输入的 constitution 区分开来，同时指出实践可能逐渐趋同。

Lambert 从文件中看到文化差异：Anthropic 强调广泛的伦理、有帮助的行为和 Claude 的性质；OpenAI 的规范则列出遵循指令层级、寻求真实等规则。他认为这只是一个时间点的观察，并询问未来模型是否会进一步分化。

公开规范有三个受众。对内部而言，它迫使不同利益相关方解决分歧。开发者可以了解哪些行为是预期的，以及未来模型可能如何发展。公众则能借此理解实验室声明的目标，并要求其承担责任。

接着，Lambert 介绍了自己参与撰写的一篇开放角色训练论文。他提醒听众，幻灯片对这项工作的描述有些夸张：这是一次早期公开实验，而不是前沿训练配方。团队从已经完成指令微调的模型开始，测试能在不损失性能的情况下改变多少角色特征。

该配方为不同特质编写 constitution，使用偏好数据和直接偏好优化，并加入内省数据。作者在 Llama、Qwen 和 Gemma 上比较了修改权重、提示词和激活引导。在测试中，微调形成的角色面对打破人格的尝试时更加稳健。

论文研究了不同人格，而不是规定一种理想人格。在一项评估中，模型在不说出选择的情况下从两个特质中选择一个，再由语言模型评判回答更接近哪个特质。不同训练目标使选择转向合作、伦理或幽默等特质。

角色训练后，特质分数的分布也更加分化；Lambert 将其理解为人格更鲜明。选择不同人格时，示例回答出现明显变化。他喜欢这些符合直觉的结果，但强调如何衡量模型角色仍是开放问题。

其他研究尝试不更新梯度就激发角色。Persona vector 从对比提示词或示例出发，在激活空间中提取一个方向，再在推理时加上或减去该方向。这为不重新训练权重的行为引导提供了一条路径。

一篇相关论文对多种人格使用主成分分析，识别出一条“助手轴”。作者使用激活引导和限制方法，让多轮对话更接近助手行为，减少向角色扮演漂移。Lambert 将论文声称的结果视为方法示例，而不是他会强力推荐用于生产的结论。

Persona subnetwork 使用另一种方法：识别与某种特质相关的连接，屏蔽其他权重以增强它。该工作把角色与关于有用子网络的彩票假说联系起来。Lambert 认为这个想法有趣，但怀疑屏蔽不会带来下游性能代价的说法。

角色训练看起来是对齐问题，但它同样关系到产品信任和日常使用。更多公司正在编写内部模型或音频规范。Lambert 希望看到更多公开文件，也希望有更多国际研究探讨如何落实这些规范。

一份规范的价值取决于让模型遵守它所投入的努力。模糊的规范可能被忠实执行，而优秀的公开文件也可能缺乏实施投入。Lambert 希望公众能有实用方法评估实验室是否遵循其声明的意图。

产品与后训练决策紧密相连。人类偏好比较帮助团队测试细微差异；产品团队想要新能力时，后训练研究者可能运行实验加以改进。一个产品问题很快就可能变成训练问题。

Lambert 的假设是，好的角色工作贯穿整个数据流程。强化学习的指令和评分标准、监督与中期训练数据，甚至预训练数据过滤都会影响行为。把角色当成最后一层薄薄的包装，不太可能得到最佳结果。

课程结束时，他认为人类反馈仍将发挥作用，因为人类偏好细腻、不断变化，不可能被完美建模。即使智能体越来越自主，RLHF 仍是开放的研究问题，有空间发展新模型和新技术。这门课程约有 20 个视频、12 小时内容，至此结束。