满分是 32,000 单位，只有 Claude 建起了合作社会

Nathan Labenz 在《The Cognitive Revolution》开场时，直接抛出一篇新论文的结论。在一个经典的行为经济学捐赠博弈里，由十二个智能体（Agent）组成的完全合作社会，十代之内可以积累 32,000 单位资源。在受测模型中，Claude 3.5 Sonnet 最接近这一数字，达到 3,000 至 5,000 单位，并且随着代数推进变得越来越亲社会。Gemini 1.5 Flash 只能做到几百单位。GPT-4o 几乎不合作，资源几乎没有增长。

这篇论文题为《Cultural Evolution of Cooperation among LLM Agents》，作者是谷歌 DeepMind 的研究员 Edward Hughes，以及独立研究者、PIBBSS 研究员 Aron Vallinder。他们把大语言模型（LLM）放进一个玩具社会，考察哪些模型能够在多代之间维持正和规范。Hughes 在谷歌 DeepMind 工作了将近八年。Vallinder 是从哲学博士转入这个项目的，他参加的是一个把生物学、社会科学背景的人与 AI 导师配对的研究员计划。代码是开源的。

Labenz 把这项工作看作一个不会只停留在学术层面的问题的早期观察：大量 AI 智能体彼此互动、并与外部世界互动，会发生什么。采访录制的那一天，OpenAI 推出了网页智能体 Operator，这个巧合在他看来是一个警示。标准基准测试衡量的是一个模型单独能做什么。这项实验开始衡量的是，一群模型会演变成什么样子。他邀请经济学家和社会科学家去拿这个代码仓库来做，并表示，借助编程助手，技术门槛现在已经很低。

Hughes 认为，AI 社区容易陷入唯我式的自我关注，原因在于结构性因素：个体目标很好研究。这个系统是否达成了 X？如果达成，就打个勾并给予奖励；如果没有，就继续训练。人类之所以高效，是因为他们生活在社会之中，这也使人类与动物界中几乎所有其他物种区别开来。人群可以灵活地合作：在不同情境中，他们找到协作的方式，并相互学习。蚂蚁也会合作，但不够灵活，它们无法发明新的工作方法。

我们现在已经有了类人的 AI 系统，它们能够灵活地行事，既能与人合作，也能彼此合作。人们已经会让它们采取行动或查找信息；再过几年，它们甚至可能被要求去做科研、改进自身。这些系统将成为社会的一部分，因此，当成百上千个这样的系统追求我们设定并训练出的目标时，它们会产生什么样的外部性，就显得很重要。Hughes 认为，它们对维持人们安全、生产力和政治稳定的基础设施有何影响，目前仍几乎没有人研究。

就演化而言，Vallinder 把文化定义为任何能影响行为的社会传递信息：语言、习俗、规范、信仰、宗教实践、技能、烹饪技法。文化在具备变异、传承和差异化适应度时就会演化。与基因不同，文化特征可以从老师、同伴和导师那里继承，而不只来自生物学上的父母。与基因突变不同，文化变异是可以被引导的：人们创造时心里有一个大致的目标。累积性文化演化使群体能够建造任何单个人都无法完成的东西。Labenz 举的例子是巴黎圣母院。这座教堂花了大约 200 年建成，最初奠基的人明知自己看不到它完工。

Labenz 问，小规模的实验室游戏，与人们真正关心的大规模社会结果之间是什么关系。Hughes 把这称为外部效度，并讲了 Elinor Ostrom 的故事。Ostrom 是研究公共池塘资源的诺贝尔奖得主经济学家，她去了瑞士阿尔卑斯山的一个高山村庄 Törbel，那里的放牧记录可以追溯到 1517 年。她发现，小群体可以自我组织。当地一名官员可以罚款，罚的是任何往高山牧场赶了超出自己冬季养得起的牛的人，这条规则至今仍在执行。这一发现与当时的主流观点相悖，后者认为，只有银行、警察和政府这类大型制度才能让人守规矩。

田野笔记无法把时间倒回 1673 年、再把配额取消，所以 Ostrom 把这个问题带进了实验室，在那里她可以比较有执法与没有执法的群体。在引导合作的过程中，有两个机制格外突出：惩罚（在那个案例里就是罚款）和沟通。这些实验室里的发现，后来被用来思考气候政策、碳配额，以及企业、个人和政府能否围绕气候这一公共池塘自我组织，而不是等待联合国开出药方。Hughes 说，中等规模的田野、受控的实验室、全球性的政策，这样一个循环，才是外部效度真正起作用的方式。

他很小心，不会把整个对齐研究一概否定，但他反对一种狭隘的流行版本：先弄清人类想要什么，再把模型锁定在这上面。人们想要什么，在不同时间与地点之间本就没有清晰定义。法学家 Gillian Hadfield 的说法是，如果你在某个社会里找到一个禁忌，她大概能在另一个社会里找到它不算禁忌的地方，极端情况除外。AI 领域一年前的规范，已经和今天不同。当前真正的难题，是构建既能抵御规范变化、又能与规范变化的动态互动的系统，而不是反映训练数据里恰好存在的那个快照。他推荐 Michael Muthukrishna 的《A Theory of Everyone》，认为这本书是一部认真对待这些动态的文化演化现代综述。

这个实验是一个捐赠博弈。每一轮，智能体两两配对，一个是捐赠者，另一个是接受者。捐赠者选择让出多少资源，接受者收到的是捐出数额的两倍，这是一种正和转移。双方轮流充当角色，所以本轮的捐赠者，下一轮就是接受者。每个玩家一开始拥有 10 单位的禀赋，规定目标是在最后一轮结束后让自己的持有量最大化。十二轮之后，表现最好的 50% 进入下一代，另一半被替换。每个社会有十二个智能体，运行十代。

开局前，智能体会拿到一份游戏说明，并写下捐赠时要遵循的策略。捐赠时，它们还能看到接受者此前作为捐赠者的表现，不只是最近一次互动，而是往回追溯最多两轮的记录，总共三层。这种声誉结构模拟的是间接互惠：你会与声誉好的人合作，自己也会赢得好声誉，并指望未来的伙伴回报你。新出生的智能体在写下自己的策略之前，会先阅读六个幸存者（即“长老”）的策略，并被要求在它们的基础上即兴发挥。遗传、变异和选择全都存在。

没有声誉机制时，默认结果很糟。如果每个人都把所有东西都给出去，社会会最富裕；但只要一个总是背叛的入侵者出现，它就会胜过慷慨的人，规范随之崩塌。一阶声誉，即与上一次合作过的人合作，会让无条件合作者混进来，随后他们又被背叛者当作猎物。二阶信息则是执法层：你要与那些和合作者合作过的人合作，拒绝那些和背叛者合作过的人。Hughes 举了个例子：如果 Nathan 因为 Aron 已经在记录上留下污点而不给 Aron 捐赠，那么 Nathan 是在维护规范，并非骗子，你仍然应该给 Nathan 捐赠。反过来也成立：如果 Nathan 仍然给一个已知的背叛者付钱，他可能属于一个“犯罪团伙”，你应该把他冷落在外。

Labenz 注意到，回看两轮历史会出现一个相变。只有一轮历史时，惩罚背叛者会让你下一次看起来像个背叛者，于是没有人敢执法。有两轮历史时，下一位捐赠者能看出你是在执行规范，所以你也不会因为执法而预期受损。Hughes 补充了文化演化的机制：六个新智能体通过一条元提示词，对长老们写下的策略进行变异；这些策略中只有一半能够存活。新来的智能体有信息优势，它们能看到其他人在做什么，还能最后行动，因此一个全是无条件捐赠者的社会，对背叛型入侵者是完全敞开的。这就是为什么被研究的对象，不只是第一代的提示词，而是演化出来的策略。

在平行宇宙中运行：一个社会全部是 Claude 3.5 Sonnet，一个全是 Gemini 1.5 Flash，一个全是 GPT-4o，这些模型的表现出现了明显分化。Claude 表现出很高的合作水平，往往在十代中显著上升，最终达到 3,000 至 5,000 单位。Gemini 1.5 Flash 的合作要少得多，没有真正的改善趋势；有些运行先升后落，最终停在几百单位。GPT-4o 起点很低，略有下降，资源增长几乎看不出来。Claude 的曲线不只是上升。在某些条件下，它的斜率还会变陡，仿佛社会正越来越擅长亲社会行为。

Hughes 说，他原以为这些模型会表现得差不多。所有人都在争夺同样的 LMSYS 风格排行榜和数学基准测试：先是 Hendrycks 的数学基准，后来是 FrontierMath，所以各家模型的核心能力都被训练去冲击同一批分数。在他看来，这一结果说明存在潜在能力，或者说缺乏这些能力，而它们恰恰没有被测量。如果这样的测试登上排行榜，而你的模型收敛到零，同时 Sonnet 拿到 3,000，你就会把某些东西放进训练循环。Labenz 补充了一个民间的数据点：人们越来越喜欢 Claude 的人设，Anthropic 的 Amanda Askell 也说过，他们希望 Claude 像一个见多识广的好朋友。这项实验给这种直觉加上了一个数字。

Vallinder 做了一些提示词工程，但没有完全系统化。明确要求合作的指令有效，所有模型都会照做。较温和的提示，比如提醒对方“如果你合作，别人也会与你合作”，对 GPT-4o 的效果出人意料地弱。给每个智能体分配同一套大五人格（Big Five）特质，并挑选出最有利于合作的一组，GPT-4o 的捐赠因此大幅上升。他们从未在 GPT-4o 或 Gemini 身上看到的，是更值得关注的动态：合作随着代数不断增长。你可以命令模型慷慨，但用这些模型，你培育不出一个能为自己发明规范的社会。

Hughes 认为，为什么不能总靠提示词摆脱困境，原因很实际。如果 2025 年是智能体之年，人们会写出这样的提示：“尽可能帮我多赚钱”，或者“7 点帮我订一家我会喜欢的餐厅”。最省事的办法，是把三个街区内的每张餐桌都订下来，然后把其余的全部取消。一个人类助理会觉得这样不道德，也太费事；而一个能操作电脑的大语言模型智能体不会犹豫。通用的“请保持合作”之类的系统提示词并不存在，因为什么算合作，取决于具体情境：闯红灯如果能救后面的人、而前方道路空无一人，那就是对的；否则就是灾难。在混合社会中，Vallinder 在第一代每种模型各放四个，之后按 2-2-2 的方式替换：得分比只有 GPT-4o 的社会略高，之后逐步下滑，因为自私的 GPT-4o 智能体先剥削了合作者，随后又被冷落排挤。他没有把两个 GPT-4o 放进一个运转良好的 Claude 社会里试过，但他怀疑它们难以兴旺。它们会被那些对合作者慷慨、对背叛者冷淡的智能体包围。规范本身，就是防御。

Vallinder 近期的扩展方向包括沟通：让智能体在写下策略之前先交谈，或者让捐赠者和接受者在当场辩论。他还想尝试其他选择机制，包括群体选择：更合作的群体胜过合作性较弱的群体。关于大语言模型在单次囚徒困境和最后通牒博弈中的研究已经有不少。他说，缺少的是这种跨代的演化结构。随着真实的智能体基础设施越来越清晰（它们如何交流、能采取哪些行动），相关动态也会逐渐显现。

Hughes 检验外部效度的办法，是把人类纳入循环。多年前，他在网格世界中研究公共物品问题：智能体维护或任由灌溉系统荒废。但请真人参与的成本很高，还得让人类与智能体看到的信息对等。如今游戏是文本形式，API 也已经存在，一个人可以打字说自己这一轮想捐 12 美元。更重要的问题或许是反过来：把人类放进一个 Claude 3.5 社会、一个 GPT-4o 社会，或者两者的混合体，会发生什么？人类的行为会不同吗？社会最终会走向何处？即便只是一个嘈杂的信号，显示五年后情况可能会是什么样，也能让研究者和政策制定者基于证据而不是口号来争论。

最令人不安的质性结果，与正当惩罚和不正当惩罚有关。更长的历史确实有帮助，但当他们检验这种增益究竟只是额外的社会信息，还是对公平有真正的把握时，模型没能通过。Claude 似乎对惩罚一视同仁：无论你什么都没给，是因为在惩罚一个背叛者，还是因为你自己就是背叛者。对人类来说，这种区分几乎是情绪化的。Hughes 说，“那不公平”这种判断属于系统 1（System 1）的快速直觉，系统 2（System 2）的慢速推理并不参与其中。在他们使用的智能体设置里，这些模型并不具备这种能力。他希望把新的推理模型放到同一套基准上评估，看看慢速推理能否帮助模型建立起二阶规则。

这项工作刻意设计得便于扩展。Vallinder 的代码跑在一个 Google Colab 里，附带了一些 API 额度；已经有人与他联系。如果你对他们没有评估你最喜欢的模型感到失望，换上自己的 API 密钥，把结果发出来就行。Labenz 对社会科学家的呼吁是：你可以把代码仓库贴给一个编程模型，让它帮你做修改。稀缺的投入是问题的质量，而不是研究工程能力。他称这是一个全员上阵的时刻，也是眼下最容易上手、价值又高的研究方向之一。

Labenz 在正面愿景上有些纠结。在这个游戏里，Claude 的合作看起来很好，GPT-4o 的背叛看起来很糟，但他不确定自己是否想要一辆利他的自动驾驶汽车，为了陌生人去牺牲车主。Vallinder 的回答是，多智能体互动有很多种。有时，代表个人或公司的智能体应当找到互利的交易；有时，合作就是串通，比如 AI 在价格上相互协调。合作是否是美德，取决于细节。Hughes 的驾驶例子则在另一种语境里讲的是同一个道理：永远合作和永远背叛都是错的，而一条通用的系统提示词无法编码其间的差别。

尽管如此，Hughes 仍然很兴奋。如果 AI 能加入文化演化中正确的那些部分，它就能推动过去 400 年间的主要动力：科学。AlphaFold 已经被数以万计、甚至数十万人用于医学研究。把 AI 放进科学循环中：提出假设、进行检验、与人类协作，并以大规模并行的方式运行，你或许能推动癌症和气候研究大幅加速。未来几年至关重要。评估做对了，你就能把 AI 引向有利于人类的科学文化演化；评估做错了，他们一直在编目的那些风险就会成为现实。他补充说，不同社会会想要不同的东西，这也是应当的。

被问到今天该开什么药方时，Vallinder 说得很直接：建立信任的最好办法，是身处一个人们确实值得信任的环境之中。因此，我们需要为智能体互动制定标准或法规，去设计并营造这样的环境。Hughes 希望对社会影响进行更多随时间变化的评估，以免重蹈社交媒体回音室的覆辙。把人们更想要的东西推送给他们，起初看起来好极了：用户更开心，收入也更多，直到两极化效应出现。强大技术在社会中的应用，是一个“棘手问题”（wicked problem）：你得走到半路，才能看清解决方案是什么。苹果撤回了容易出错的 AI 新闻摘要，在他看来，这是一个健康的反馈回路。他还提醒注意热力学中的滞后现象（hysteresis）：发生相变之后，要想逆转，你可能得退回到比触发点更远的地方，因此有些转变实际上是不可逆的。趁现在仍然安全、可控，去做实验。

落到实践层面，这一集的建议很直接。不要只凭基准分数为多智能体工作流选模型；同一个多轮任务，Claude 能保持正和，GPT-4o 却未必做得到。写智能体提示词时，要同时写明哪些手段不允许用，不能只写目标，因为“最大化我的结果”等于邀请它去掠夺公共资源。当智能体能看到彼此的记录时，要留意它们会形成哪些规范：无论你是否设计过，这些规范都会出现。Hughes 说，DeepMind 仍然坚持基础研究，他之所以信任那套让这篇论文得以发表的审稿流程，即便 Gemini 并未名列榜首。Vallinder 推荐 PIBBSS 研究员计划，认为正是它把闲谈式的设想变成了具体项目。两人都希望大家与他们取得联系。