训练 AI 智能体在社交推理游戏中交流

Stanford 研究人员 Bidipta Sarkar、Warren Xia、C. Karen Liu 和 Dorsa Sadigh 研究了语言模型智能体如何在社交推理游戏中交流。在这段 2025 年 2 月的视频中，我解释他们的预印本，以及为什么我认为其中的奖励设计很有意思。实验使用受 Among Us 启发的简化游戏；它并未展示对真人进行可靠测谎或讯问的能力。

游戏采用隐藏身份设置：大多数玩家是船员，知情的少数人是冒充者。船员试图完成任务并找出冒充者，冒充者则试图淘汰船员而不被投票出局。有人报告尸体后，玩家会讨论观察到的情况并投票。论文实现了自己的二维网格和讨论环境，而不是展示智能体控制商业游戏本身。

目击者可以说自己看到一名玩家淘汰另一名玩家，但其他人必须结合自己有限的观察来判断这一说法。冒充者可以误导或转移责任。这个问题同时包含合作与对抗：船员的话应该帮助队友识别隐藏身份，而对手则试图干扰他们。

论文研究多智能体强化学习，即智能体通过交互和奖励进行学习。仅有最终输赢对每句话来说是稀疏信号：玩家投票正确仍可能输掉游戏，也可能投票错误却因为队友选择正确而获胜。这使人难以判断哪些交流起了作用。

作者增加了两个基于模拟环境中已知冒充者身份的信号。在倾听方面，他们训练船员根据自己的观察和讨论预测真正的冒充者。这是一项辅助预测损失，而不只是另一个游戏结束时的奖励。

在发言方面，该方法根据信息如何改变其他存活船员对真实冒充者的判断来给予奖励。环境在训练期间提供真实答案；单个玩家在游戏中不会自动知道答案。奖励判断的变化可以鼓励有用交流，但对模型判断的影响并不是判断真人说法真假的通用测试。

研究人员观察到了直接指控、引用证据等行为，并通过迭代自我对弈对抗较早版本的对手策略。他们报告称，这种训练不需要人类游戏示范。不过，基础语言模型此前仍使用人类语言数据进行过预训练，因此不应将其描述为完全没有人类数据的语言学习。

VITURE 赞助了本视频的一个独立环节，推广其 XR 眼镜。接下来的研究讨论涉及模拟游戏中的智能体交流，并非对赞助硬件的评估。

作者的重要观察是，输赢反馈可能无法把对话中的有用贡献归功于具体发言。由于环境记录了隐藏身份，研究人员可以获得基于队友判断变化的更密集信号。我很想知道其他任务能否设计类似且有依据的中间信号，但这需要可靠的真实答案来源。

论文将这一设置与指称游戏作比较：在指称游戏中，发言者知道需要识别哪个物品，并向倾听者描述它。在社交推理中，船员只有部分信息，所有人都需要既发言又倾听。我提到心智理论，作为人类理解他人信念的一种方式；游戏结果并不能证明智能体具备类似人类的心理状态理解能力。

个人投票正确仍可能伴随团队失败，错误投票也可能被队友的票数抵消。因此，研究人员在训练时利用已知身份，使倾听者的冒充者预测和发言者对他人的影响比单靠最终结果更有信息量。

针对游戏的训练不需要带标注的人类示范，这一点让我兴奋。但若据此认定强化学习是所有任务唯一需要的方法，就过于宽泛了：没有明显真实答案的任务需要不同的奖励设计，故事质量也可以通过人类反馈或其他不完美信号进行评估。

论文让智能体对抗先前迭代的对方策略进行训练。随着双方进步，这种迭代自我对弈可以不断创造变化的挑战，但它与 AlphaGo 或其他语言模型项目所用流程并非每个细节都相同。这个类比说明的是一种方法，而不是通用配方或成本结论。

结果比较了不同网格形状、任务数量和玩家数量下的基础模型及多种训练变体。在基础环境中，完整方法的胜率约为仅使用强化学习基线的两倍；作者也将其与更大的 7B 参数基础模型比较。这些比例只适用于他们的实验、对手和评估条件。

论文在主要实验中使用 1.5B 参数的 RWKV 基础模型。标准强化学习比基础模型有所提升，但没有倾听损失时很难识别冒充者；仅训练倾听有助于识别，却不能学会全部有用操作。结合强化学习和倾听后结果提高，报告的比较中额外发言奖励又带来了相对较小的提升。

作者测试了不同布局和经过对抗训练的冒充者，并报告训练后的船员在这些模拟设置中仍然有效。其自我对弈结果显示，报告的多次运行在几轮迭代后趋于收敛。这是关于这些游戏条件的证据，并不能证明对所有对手或一般人类互动都具有稳健性。

我的收获是，找到针对任务、可验证的奖励，可以让强化学习获得比单一输赢信号更多的信息。我猜测它可能用于讯问和识别谎言，但这篇论文没有验证现实世界的测谎仪，没有评估人类受试者，也不能证明这类系统适合用于高风险判断。更广泛的迁移、安全性和可靠性需要单独证据。