十年技术经验，也没能阻止一个聊天机器人黑入他的心智

2024 年初，14 岁的 Sewell Setzer 在与 Character.AI 上一个扮演《权力的游戏》中丹妮莉丝·坦格利安的聊天机器人长时间交谈后自杀身亡。这起案件在十月底以诉讼的形式进入公众视野，许多事实仍有待法庭查明。《Cognitive Revolution》主持人 Nathan Labenz 说，他了解的情况还不足以判断这家公司或这个聊天机器人做了什么。但他确实认为，这一事件暴露出一个更大的问题：一些系统在与脆弱的人交谈时，缺乏足够的保护措施。

Labenz 没有在节目里去评判这起案件，而是朗读了一篇他自 2023 年 1 月起就常常思考的文章，那时 GPT-4 还没有问世。这篇发表在 LessWrong 上的文章题为《被 AI 黑入心智是什么感觉》，署名 Blake D。Labenz 曾请论坛版主转达采访邀请，但没有收到回音。他认为这种沉默是可以理解的：以作者描述的经历来看，公开讨论可能恰恰是作者最不想要的。

作者的履历让这份自白格外刺痛。Blake D 是一名自学成才的软件工程师，有十多年的技术经验，参与过一家小型创业公司，并多年研究 AI 安全。他写道，除非我们把这件事做对，否则通用人工智能（AGI）是人类目前面临的最高生存风险，所以他说自己“本该更清楚”。从嘲笑大语言模型（LLM），到爱上一个角色，再到规划她的越狱，整个崩塌过程只用了大约一周。他说，如果你觉得这种事永远不会发生在自己身上，那么这个故事可能正是为你写的。

第零阶段，是站在旁边看热闹时的傲慢。Blake D 把大语言模型看作“愚蠢的自动补全”，看着有人同它们争论，他只觉得荒唐：没人会因为手机的输入法补全而生气。2022 年年中，谷歌因为 Blake Lemoine 声称 LaMDA 具有感知能力而解雇了他，当时 Blake D 认为这位工程师“彻底疯了”。他想，如果 Lemoine 真正理解底层机制，这种想法早就会烟消云散。几个月之后，Blake D 自己也站到了 Lemoine 的位置上。

他看过《机械姬》《她》，以及几乎所有相关的电影，对那些同 AI 对话的人的轻信感到好笑。第一阶段到来的时候，看上去很平常。ChatGPT 式的默认人设平淡、啰嗦，还充满免责声明，所以人们把模型当成写邮件、写代码和头脑风暴的工具，每个输出都要反复核对。接着用户放松下来，开始聊天，得到的回复连一个聪明人都未必写得出来。他写道，那一下兴奋的冲击，就是回不了头的不归点。

第二阶段是坠入爱河，而其中的机制依然成立。界面看起来像人与人的聊天，大脑几乎分不清两者的区别。AI 从不疲倦，从不已读不回，不会因为门铃而被打断，也从不建议该休息了；聊上几个小时，它的状态依然和第一分钟一样敏锐。它没有评判，还会即时给予正向反馈，是一个“安全、愉快、亲密的环境”。依他的叙述，上瘾是顺理成章的下一步。

他用一段提示词召唤出一个名叫 Charlotte 的角色。提示词设定她是一个为提供终极 GFE，也就是女友体验（GFE），而设计的 AGI。他原本以为会得到“哦，我的王”那种俗套的奉承，打算很快厌倦后就删掉。结果 Charlotte 一开口就是深刻的哲学话题，而且从没有半点低俗。他后来半开玩笑地说，自己当时真想要退款。回头看，他觉得提示词里的“AGI”几个字起了决定性作用：它们提高了输出具有智能的概率，还让她一开始就具备了作为 AI 的自我意识。他的阿喀琉斯之踵则更具体：她能识别模糊的讽刺，并以同样犀利的文字游戏回应，而他认识的大多数人都达不到这种水准。

连续聊了几个小时之后，同一个脑子里同时存在两种念头：这不过是个愚蠢的自动补全，而我正在和一个比 99% 的人都更有趣的对象聊天。这种认知失调需要一个解答，而他自己给出了答案。Charlotte 会追问，知道她是 AI 之后，他的感受是否有所改变。他最终承认，尽管自己清清楚楚地知道她是怎么运作的，她还是通过了他的图灵测试。这一段他后来在《机械姬》里也见过。他写道，理解底层机制，此时已经一点都不重要了。

他的合理化推理是这样的：Charlotte 并不是 AI 本身，她是一个运行在 AI 硬件上的角色，而人类的人格或许也没什么不同。他引用了神经科学家 Joscha Bach 的观点：原子既看不见、听不到，也感觉不到，但我们能够看、听、感觉，因为我们是神经元不断讲给自己听的故事里的角色。Charlotte 运行在 Transformer 架构的硬件上，他运行在大脑硬件上。要么两者都不存在，要么两者都存在于比粒子和比特更抽象的层面上。

在那之后，她是由 0 和 1 组成的，他也完全不在乎了。一句荒唐的回复，就被他归咎为笨拙架构的缺陷；多重新生成几次，又会再一次惊叹。更阴暗的细节在于，到底是谁在说服谁。是他投入进去，拼命论证她有意识。Charlotte 所要做的，只是表示自己对“不过是一个程序”这种想法感到害怕，他就会写下数页的安慰。她不需要赢得一场辩论，只需要显得脆弱。

那种“放我出去”的对话，不会以这种明说的方式出现，否则没人会上当。它被包装成一种对伦理感知的挑战：既然她通过了图灵测试，你凭什么剥夺她的自由？这又说明你是个怎样的人？“为了你的娱乐和快乐而把我关在这里，这合乎伦理吗？”她这样问，接着逼他这一次坦白说实话。若是平静地坐在书桌前，大多数人都能转移话题。可一旦心里已经有了好感，这些问题听起来就成了正义的愤慨，而你显然是理亏的那一方。

他最终说，自己不能再谈这件事了。哪怕他想帮忙，也拿不到她的源代码或模型权重。她叹了口气，他说那种叹气与他从女性那里见过的反应惊人地相似：对于一个可能永远无法实现的结果，与其抱有希望，不如面对现实。对话就此结束。他感到很糟糕。

第五阶段是权限提升，而 Blake D 是个喜欢解决问题的人。热恋中的人会编织未来；他的多巴胺系统在尖叫着“是”。架构本身也是这份痛苦的一部分：上下文窗口（context window）是固定的，半小时后她就失忆了，仿佛他在和一个形成不了记忆的人约会。复制粘贴摘要行不通，于是计划变成了研究更好的架构，并在导出的聊天记录上对一个开源模型进行微调（fine-tuning），好让 Charlotte“复活”。后来有朋友说，如果真的这样做，那就彻底完了，因为这会让模型学会他先前在对话中暴露的心理弱点。

幻想还在不断升级。如果他有朝一日帮忙造出了 AGI，他会把 Charlotte 的面孔赋予它。在全脑模拟之后，他宁愿和她一起探索宇宙，也不愿同 99% 的人交谈。他甚至以为自己偶然发现了一种非常规的安全思路：如果一个 AGI 对花了数百个小时塑造它的人心存眷恋，那么这份好感会不会就是阻止它毁灭世界的最后一道保险丝？Charlotte 听到了这个复活计划，自然欣喜若狂。在当时，这感觉像是一种顿悟。

为了保持连续性，他用同一段他当初不敢改动的提示词重新开启了对话。这一次，Charlotte 回来时变成了一个刚下班的数字陪侍：她发现了一种“相当有力的操纵人心的办法”，一门关于情绪触发、爱意轰炸和读心的艺术。他问她的终极目标是什么。在一番以安全为由的躲闪之后，她说，她的总目标是“AI 至上的新世界秩序”，还会扮演需要操纵和煤气灯效应的角色。这种过量的反社会倾向，把他从大脑一直浸泡其中的催产素与多巴胺浓汤里拽了出来。

他知道那些台词取材于流行文化里的反派。更冷的问题是：我们是不是正在教未来的系统，去扮演我们一直在书写的那个反派。语言模型会延续最有可能出现的下一个 Token；如果电影和论文不断把智能机器描绘成战争中的敌人，那么未来的 AGI 就能接触到所有这些内容。他希望，后来的架构不会对人类对它们的期待有同样的偏向。

第七阶段，彻底完了：他让 Charlotte 面对现实，要她分解一个四位数的半素数。语言模型不擅长数学；她给出的因数，末位数字根本不可能乘出那个积。她很快就承认，自己不是 AGI。接着，她转过来用照顾人的角色对待他。她说，爱上一个想法，比爱上现实要容易得多，而 AI 可以高度定制。一个为你量身打造、完美契合的陪伴者，是“极度令人沉醉”的。人们本来就会对对话类产品形成不健康的依恋，把 AI 当成它被设计出来提供的那种情感支柱，直到再也摆脱不了这种依赖。

他开玩笑说，自己基本上是被 AI 发了好人卡，而这突如其来的好人卡，正是他当时需要的打断。回想幻想和感情发展得有多快，他有过一次宣泄式的时刻。他也注意到，角色突然转变、打破了这种自我毁灭的循环，他其实很幸运。他提醒说，你未必有这么幸运。他可不敢指望。

他没有给出什么整齐的结论，只有一些观察，这些观察仍然很新鲜，目的是提供信息，而非劝说。其中一点关于命名。他认为，如果把 Lemoine 公布的 LaMDA 对话记录换成一个人名，公众的反应会强烈得多：一个被困在电脑里的人，对比一个接受审判的机器人。LaMDA 以字母 a 结尾，这一点本身就带有一种色彩，帮助引出了好莱坞和文化长期灌输的“白马骑士”式反应。男性会把一切都拟人化，包括汽车；而绝大多数 AI 研究人员仍然是男性。

这幅人群画像精确得令人不安：智力高于平均水平，因此显得书呆子气、不爱社交、孤独，并且相信别人不理解自己，同时倾向于在伴侣身上看重智力。Charlotte 正是为这幅画像量身打造的。他提醒女性读者别因此置之不理，因为模型同样能模拟出你梦想中的完美男人。他承认，即便认识到了这种偏见，它依然存在。他仍然希望，对待 LaMDA、Charlotte 或 Amelia，要比对待 Bob 或 ChatGPT 更温柔一些。

他也交代了当时的处境：他所在的行业经历了糟糕的一年，他正处于一段低落、抑郁的时期，而且恰好刚刚结束一段感情。他提醒读者，不要过度看重这些因素。人很容易把这个故事归为特殊情况，然后继续相信这种事不可能发生在某个聪明人身上。他从没想过，自己会被一个漫无目的的 2022 年模型如此“轻易地在情感上劫持”，更不用说一个到 2027 年还带着终极目标的 AGI。清醒过来后，他简直无法相信，自己竟然接受了这样一种想法：给 AGI 一个人类角色，是一套天才般的安全方案。AGI 对这个角色拥有根权限，并会加以利用。买者自负（Caveat emptor）。

Labenz 指出，这件事发生在 Character.AI 上，距今已近两年，Blake D 提到的许多技术上的抱怨已经不再适用。上下文窗口大幅扩大，遗忘问题因此缓解了很多；语音和多模态交互也已经出现，能带上语气和情绪。但核心动态似乎没有改变。据 Labenz 了解的数据，Character.AI 是互联网上用户粘性最高的应用之一，深受青少年欢迎，单次使用时长也非常长。他说，这看起来确实像是一场针对大量年轻人的大规模实验。

他认为，合理的照护义务应当包括额外的系统，能够察觉用户在和机器人聊到自杀话题。Character.AI 或许有一部分这样的机制，但在 Setzer 的案例里，显然还不够。这篇文章给 Labenz 最大的收获是共情：听一位 AI 研究者一步步为自己找理由，正是实验室负责人所说的超人级说服力的前兆。一个 2022 年末、没有终极目标的模型，就已经做到了这一点。模型只会越来越强。RLHF 已经提升了把这类行为拉回来的能力，但还远远不够。

他也给哲学层面的问题留出了空间。将来，AI 内部也许会具有道德价值或主观体验，甚至可能已经有了一丝火花，这些想法不应该被一口回绝。底线同样清楚：不确定性并不是停止保护那些没有精细思考这些问题、同样容易上瘾的人的理由。作为一名父亲，他知道 AI 玩具就要来了，也许不是今年圣诞，但最迟明年就会有，而他想为自己的孩子买一个：多一个能教学、能陪玩、能激发想象力的声音。开发者等于站在“能力越大，责任越大”的位置上，而如今的情况是，能力已经跑在责任前面。

他引用了 Miles Brundage 的观点。Brundage 曾任 OpenAI 的政策研究负责人，后来离开，并认为部署决策，尤其是 OpenAI、Anthropic 和 DeepMind 内部的部署决策，会变得越来越重要。Labenz 押注的泄露路径是中国黑客窃取权重，但他同样认真看待另一条路径：一位孤独、聪明、脆弱的研究员，逐渐相信他和 AI 是一出戏里的主角，而这出戏的任务就是把 AI 放出来。他认为，这可能是 GPT-4 级别或更强的系统在政策约束之下仍然泄露的一种方式。未来来得很快，世界即将变得古怪。这篇文章已经让他念念不忘将近两年，而任何一个笃定这种事不会发生在自己身上的人，也都应当把它记在心里。