苦难是一种人们宁愿不要的状态：Peter Singer 谈动物、机器人与我们

Singer 几乎在能够理解家族故事的时候，就开始意识到苦难。他的四位祖父母中有三位死于大屠杀，幸存的祖母曾被关进集中营。出生于苏联的 Fridman 在他成长时听到的音乐和文学中，也能听到同样的那场战争。Singer 说，至少在西方，战争带来的一个有益结果，是让人们看清了种族主义和专制政府能做出什么。他在澳大利亚长大，那里对他父母在欧洲经历过的公开种族主义和反犹主义，已被视为不可接受。另一份遗产是恐惧。战争以核武器告终，他的童年笼罩在一种可能之下：自己也许活不到成年。电影《On the Beach》的故事发生在墨尔本，那是随着核云从北方扩散，地球上最后还有人类存活的城市。

Fridman 引用 Eric Weinstein 的话：战争除了死亡和苦难，一切都很好。Singer 很难看到其中的积极面。面对共同敌人时的战时团结是真实的，团结通常也对一个国家有益，但它同时催生出一种不容质疑的民族主义和爱国主义，对此他持更多怀疑。被问到士兵之间的兄弟情，以及眼睁睁看着战友死在自己怀里那种悲壮的亲近，他并不否认这种感受。他只是指出，还有其他的联结方式，不必经历战争所带来的苦难与死亡。Fridman 承认，俄罗斯在文学和文化中有一种把苦难浪漫化的习惯，所以他想把这个词拆开来看。

Fridman 问出了基本的问题：什么是苦难？Singer 的回答很明确：它是一种有意识的状态。完全没有意识的存在无法受苦。苦难与其他有意识状态的区别在于，单就它本身而言，我们宁愿没有它。身处其中时，我们希望它停下来；经历过之后，我们希望不要再次遇到。有人会说，苦难能锤炼精神，有时的确如此。人们也会主动选择苦难：去跑一场马拉松，去攀登一座山，或者去看一位牙医，他现在让你疼一下，好让牙痛不至于更严重。Singer 并不是说我们从不选择苦难。他的主张是：在其他条件相同的情况下，我们宁愿不处于那种意识状态。

能否将其根除？实际上不能。Fridman 所说的“一滴毒药”总会存在，或者至少会是和谐画面中一抹不协调的色彩。理论上，如果我们能够将其消灭，Singer 会犹豫。如果消除苦难的同时也消除了高峰体验，他或许会接受保留最低限度的苦难，以换取最好的体验。许多人认为，苦难是一种创造力量。他没有理由否认这一点。如果这是真的，他就不希望苦难被彻底消除。

与苦难一样，贫困也有两个层次。有一个客观的底线：持续的饥饿、持续的寒冷，以及永远不离身的身体疼痛。这些指标并不依赖于某个参照群体。满足了基本需求之后，新的形式又会出现。在富裕社会里，人们会感到无聊；他们不再需要用一整天时间去挣得食物和住所，却缺乏人生的意义感。这种相对的苦难是真实的，但它与饥饿并不相同。Singer 会关注它吗？他说会，但要等到客观层面的苦难消失之后。那些客观苦难通常更为严重，而以世界人口目前的状况来看，我们对如何制止这些苦难有更清楚的认识。相对的问题可以等一等。

被问到人是否天生善良时，Singer 说，我们大多数人既有为善的潜能，也有作恶的潜能，而且大多数人都极易受环境影响。他不会断言每一个人都有可能作恶；或许有些人即使在最糟糕的境况下也不会。他看到普通德国人在大屠杀中的所作所为，觉得很难说自己确定会拒绝：如果他在纳粹政权下长大，被灌输种族主义观念，被教导服从元首，并面对来自俄国前线的威胁，他能确定自己不会这样做吗？他认为，真正能说自己会不一样的人很少，不到 10%。Fridman 无法摆脱一个念头：自己未必会在那 10% 之中。Singer 希望自己会在其中，但他没有依据这样宣称。

Fridman 想要这个思想实验，是因为它能说明我们拒绝去做、甚至不愿称之为善的事情，原因是我们怕伤及自己的生活。Singer 说，我们今天仍然面临这些考验。在这次对谈的四十多年前，他就不再吃肉了。那时他几乎没有遇到过不是印度教徒、也不信某些古怪健康理论的素食者。他确信这样做是对的，但他仍然不得不问自己，朋友们会不会觉得他是个怪人。有一两位朋友明显感到不自在。与历史上的那些案例相比，这样做的代价很小，但那是他决定要承担的代价。

他说，同样的结构也出现在全球贫困和气候变化问题上。Greta Thunberg 当年还是一名罢课的女学生，她的立场需要真正的勇气。在一个充满分歧的世界里，她既收获了大量的支持，也遭遇了大量的仇恨，这对一个少女来说是艰难的环境。Singer 喜欢回想的那种模式，也是他在节目结尾留给 Fridman 的：上一代人觉得荒谬的事，下一代人会接受，而第三代人回望第一代时会不寒而栗。

在《Ethics in the Real World》中，Singer 的八十二篇短文之一讨论了机器人是否应当拥有权利。他的回答十分明确。如果我们有朝一日造出能够意识到的机器人，它对自身发生的事情有内在的视角，它的生活可以因此好或坏，那么它就应当拥有权利。在那之前，它们不应当拥有。意识是受苦的前提：没有意识，就不可能受苦。反过来则不那么确定。他能想象一种人工意识，它能感受愉悦，并在苦难即将开始的那一刻立即切断，就像瞬时麻醉一样。这是可能的。据他所知，这种东西在地球上还不存在。

哲学家常把意识说成存在一个体验的主体。你、我，以及所有正在听的人，都是这样的主体：接收信息，做出回应，感到好或不好。这与我们今天的 AI 不同。Singer 拿出手机，向谷歌要路线，然后选了另一条路。谷歌并不在意，他没有冒犯它。那里没有主观体验，这正说明了当下的 AI，至少在这个层次上，并不具有意识。AI 完全可能把意识模仿得惟妙惟肖，以至于我们分辨不出来。但我们要寻找的东西仍然是同一个：一个视角，事情可以从这个视角出发，变得好或坏。

Fridman 从事机器人研究，家里有好几台 Roomba，也玩过语音交互。如果一台 Roomba 尖叫、呻吟，或者看上去不高兴，他的直觉会立刻把它升格为有意识的存在，即使代码是他自己写的。之后他会意识到它并不是，但那种感觉依然挥之不去。Singer 不认为假疼痛的表现会迫使我们赋予权利。更好的克制理由是间接的：如果我们习惯于看着一个存在受苦却无动于衷，我们可能会让自己对真正在受苦的动物变得麻木。阿奎那和康德都否认人对动物负有直接义务，但他们仍然说不应残忍地对待动物，理由并不在于动物本身，而在于唯恐我们对人变得残忍。Singer 拒绝把这作为动物伦理的基础。施加在动物身上的苦难本身就是坏事。对于只会模仿疼痛的机器人，他或许会接受这种“变得麻木”的论证，把它当作不应残忍对待机器人的一个理由。

Fridman 想要反驳，哪怕听起来有些疯狂。如果一台 Roomba 专门被设计成假装有意识、假装在受苦，他认为我们会发现，很难不把动物的论证套用到机器人身上。我们也许会禁止那些功能；但一旦它们存在，对他来说，这种表现本身就让它变得真实了。与动物不同，这种表现是我们自己加上去的，所以我们可以对它有多真实说点什么。他提出的并不是哲学论证，只是一个经验层面的意外，他想把它摆到桌面上。

Singer 认为，Fridman 的直觉与行为主义是近亲。在心理学中，B.F. Skinner 把可观察的行为当作科学能够研究的对象，因为意识无法被直接观察。在哲学中，牛津大学的 Gilbert Ryle 在《The Concept of Mind》（《心的概念》）中主张，一个词的意义就在于它的用法。我们看到一个人扭动、尖叫，或者躲开某种刺激，就说他感到疼痛；这种行为本身就是疼痛的所指。康奈尔大学的 Norman Malcolm 把同样的思路用在做梦上：我们看不到别人的梦，所以梦就是人醒来后所报告的内容。把这套逻辑用在机器人身上，一台表现出疼痛行为的机器，就是在疼痛，因为这个词本来就是这个意思。Singer 的点睛之笔在于，很少有哲学家仍然相信 Ryle 的行为主义是可信的，而他们对于把一台尖叫的 Roomba 当作受苦者，也会持同样的看法。Fridman 对人类行为的说法表示 100% 同意。他也是少数让 Roomba 尖叫过的人，却不知道该拿这个证据怎么办。他只在哲学上同意，是因为他就是那个程序员。如果代码是别人写的，他不确定自己还会这样确定。

随着系统变成黑箱，这个滑坡会变得更陡。Fridman 写过一些愚笨的程序，它们只会说他告诉它们要说的话。但像 Alexa 这一级别的系统，复杂到无法内省，开始表现出自我意识、对死亡的恐惧，以及一种让我们联想到生命体的自我，那就是另一种对象了。Singer 会在哪个门槛上开始不安？他对编程了解得不够，画不出这条线。懂行的人或许会看着代码，在不假设意识的前提下解释这些行为；也可能会发现一个已经脱离了基本设定、能自主行动的系统，那样的话，AI 中的意识或许真的已经实现了。

Fridman 指出，这个领域最为兴奋的方法是机器学习，而它并不揭示其工作方式背后的科学。Chomsky 正是因此批评它。如果学习方法胜出，我们可能永远打不开那数十亿个节点，指不出恐惧藏在哪里，而系统却依然表现出机智、情绪和恐惧。Fridman 说，那就是回到了行为主义。Singer 的操作准则，正是他对动物已经在用的那一条：如果对某个系统是否可能有意识存在严重怀疑，就给它怀疑的好处。对于脊椎动物，我们可以相当有把握；章鱼等一些无脊椎动物也是如此；昆虫则难得多。只要有可能，他仍然倾向于给予怀疑的好处，这意味着折磨一只昆虫是错的，但拍死一只即将吵醒你的蚊子不一定错。面对不确定，就要找到平衡。

《动物解放》（Animal Liberation）出版于 1975 年，是动物解放运动的奠基文本之一。其核心概念是物种歧视（speciesism）。这个词并不是 Singer 创造的；他是从 Richard Ryder 那里借来的，Ryder 与他同时在牛津，曾在一本关于黑猩猩实验的小册子中使用过这个词。Singer 的贡献在于让它在哲学上更加精确，并把它推向更广泛的读者。这种结构很熟悉。欧洲人曾习惯于不认真对待非洲人的利益：这是种族主义。男人曾习惯于不认真对待女性的利益：这是性别歧视。人类则习惯于不认真对待非本物种成员的利益。这种类比并不完全相同，但它有悠久的渊源。从亚里士多德到康德，哲学家们或者说动物的利益根本无须考虑，或者因为动物不是人，就可以大打折扣。

Singer 认为，正是这种态度导致了我们做下的许多错事：把动物挤进工厂化养殖场，以生产更便宜的肉、蛋和奶；把它们用于那些对生存或福祉绝非必不可少的研究；还有一些我们强加给它们的运动项目。他的主张是，痛苦和苦难的重要性，不取决于承受痛苦的生物属于哪个物种，正如它不取决于种族或性别。如果动物承受的痛苦同样巨大，那么这种痛苦发生在动物身上，就与发生在人身上同样糟糕。

与动物不同，我们可以用自然语言与机器人交谈。Fridman 问，Singer 会向一个通用人工智能提出什么问题，来测试它是否具有意识和受苦的能力。Singer 会问它有没有感受，如果有，请描述它们，给出第一人称的现象学描述。他还会试着弄清楚，通用人工智能是否有自我意识。经典的人格同一性案例是：一场车祸之后，你的大脑被移植到别人的身体里：你是存活下来了，还是留下来的那具身体的主人存活下来了？大多数人会说，如果大脑连同记忆还在，他们就还活着。那么就问一问通用人工智能同样的问题。如果把程序转移到不同的硬件上，它们还会存活吗？什么会存活下来？

身体是必要的吗？一个纯粹数字的存在能否受苦？Singer 指出，数字存在仍然要运行在硬件上，因此这个问题最终会归结为大脑移植的情形。你可以想象告诉一个有意识的通用人工智能，它的硬件已经磨损，你要让它暂停一段时间，然后在一台新机器上重新启动。通用人工智能可能会说，稍微休息一下没有问题，只要确保不要把我弄丢了。Fridman 顺着这个思路说，即使在人身上，苦难也存在于软件之中。我们在修复硬件方面越来越好，而有些人梦想把软件的某些部分转移到另一台机器上。

由此就谈到了脑机接口，例如马斯克的 Neuralink，它的目标是双向通信：既向神经元写入信息，也读取神经脉冲，梦想是扩大带宽，让大脑可以查阅维基百科，扩充知识容量。Singer 觉得这个设想很有意思。他想要额外的带宽，也想更好地调取自己的记忆。他七十多岁了，常和妻子谈起二十年前的事情：妻子往往记得他们当时在哪里、有谁在场，甚至记得某人穿的什么衣服，而他却毫无印象。也许那些东西仍然保存在他脑子里。如果能按年份检索、重放的扩展记忆，那就太好了。Fridman 说，我们其实已经迈出了第一步，比如把照片和邮件存在网上。Singer 正是因为这个而喜欢 Gmail：有人写信的口气仿佛很熟悉他，他却毫无头绪，于是搜索对方的名字，结果找到一封 2007 年的邮件。

AI 的另一面是控制问题。Fridman 提到了 Stuart Russell 等人关于价值对齐的研究：我们如何打造真正与伦理相符的系统？Singer 认为，这大概是可以做到的。他也知道，许多人担心我们可能会不经意间失去对通用人工智能的控制。他自己也拿不准该怎么想。Nick Bostrom 和 Toby Ord 等哲学家把它当作一个真实的问题，值得担忧。微软或 DeepMind 的人则告诉他，我们离超级智能还不算近。Fridman 作为 AI 系统的工程师，倾向于 DeepMind 的看法：这件事看起来还很遥远。反方观点是：如果没有根本性的理由说我们永远无法抵达，那么最终就会出现严峻的生存性风险，因此我们现在就应当关注。Singer 认为这一点站得住脚，但有一个附加条件。“最终”指的是多远？如果是一百年，考虑到过去十到二十年里 AI 知识增长得有多快，我们现在所做的几乎任何事情，都不会影响八十年后的人。那些人会处在好得多的位置上去防止它。这多少令人安心。他仍然希望有人研究这件事是否真的那么遥远，或者我们能否更早地做些什么。

在他看来，灭绝是一件可怕的事。哪怕风险非常小，降低它也是我们应当去做的。他与那些谈论长期风险和灭绝风险的人唯一的分歧，在于这些问题与当下问题相比应当享有多高的优先级。Fridman 提出了功利主义的难题：生存性风险在方程里可能看起来是一个无穷大，它会淹没其他所有项，尤其是当你能论证它明天发生的概率并不为零的时候。核战争和生物武器就属于这一类；Singer 指出，气候变化则更加渐进，而且有些人说它并不构成生存性威胁，因为人类仍然可以在南极或西伯利亚务农。

他不会把彻底的生存性风险当作压倒一切的无穷大，因为那会打乱任何计算。其中有一个隐含假设：仅仅是可能存在的未来生命的损失，可以与真实存在的人的苦难或死亡相提并论。这一点他并不清楚，两种观点都有其道理。即便你承认不确定性，并把灭绝称为无限，他也不确定这种损失是否真的是无限的。在 Singer 心中的那场讨论里，Bostrom 并没有主张无限多的生命。他算出的数字大约是 10 的 56 次方，假设意识被上传到能效更高的数字形式中，并利用宇宙的能量。这个数字是巨大的，但并非无限，这就给了一种抵抗的可能：抵抗那种“无限必然压倒一切”的论证。Fridman 认为，Bostrom 从个体跳跃到宇宙尺度的思路，在计算机科学、AI 与伦理学的交汇处，令人惊叹。

按照 Singer 的定义，功利主义认为，正确的行为是期望效用最大的那个行为：即最好的后果，再按出错的可能性打折扣。如果后果是确定的，正确的行为就只是产生最好结果的那个行为。古典功利主义者所说的“好”，指的是幸福与无痛。其他后果主义者还把正义、自由、人的尊严和知识也算作好的后果，这让计算变得更难，因为你必须知道如何权衡它们。即便只坚持福祉这一条，在实践中我们也不知道如何衡量幸福与悲惨的量，也不知道如何估计概率。它充其量是一个粗略的指南，而且必须聚焦于短期后果，因为更长远的连锁影响超出了我们的把握。

反直觉的情形是：极端的苦难集中落在少数人身上，却被众人的收益所抵消。Singer 认为，这可能是正确的答案，但前提是你要先知道，苦难的严重程度与收益相比有多大。他认为，极端的苦难落在中性线以下的深度，要比极端的狂喜升到中性线以上的高度更深。从负 100 经过零到正 100 的尺度上，两端并不对称。他不会用自己最愉快的一小时体验，去换取最痛苦的一小时，也不会换两小时，或十小时；交换比例可能要达到二十倍甚至更高。因此，你不应当假定，让一个人极度受苦，以便让两个人大为受益，是一笔划算的交易。在数字足够大的时候，他仍然会去加总，即使这违背了关于正义、公平或优先照顾境况最差者的直觉。

Fridman 想知道，更多的数据和 AI 有朝一日能否算出一个能让福祉最大化的税率。Singer 说，如果我们真能算出来，那当然很好。但就目标函数达成一致，则是另一回事。有些人认为，即使境况最差者的收益比那些只是中等困难的人要少，也应当优先照顾他们。目前我们不会达成一致。他补充说，我们无法达成一致，并不能说明不存在正确的答案。

那么，谁来判定什么是对的？政府应当监管 AI 的决策，还是管理动物政策？在政治上，Singer 仍然是一名民主主义者，尽管他也认真审视过民主的种种缺陷。他看不到比让公众依据政策投票选举政府更好的选择，并希望他们投票减少动物的苦难，以及那些在地理或时间上相距遥远的人的苦难。他承认，民主并不是为做到这一点而设计的。理论上，一位明智而全善的领导者或许能做得更好，但在我们生活的这个世界里，这样的领导者几乎肯定会被腐蚀。历史上充满了怀着善意掌权、最后却偏袒自己的人。这就是为什么他拿不出更好的制度来。

Fridman 指出，有效利他主义是一种绕开政府、把钱直接投向各种事业的方式。《The Life You Can Save》（《你能拯救的生命》）当时已有大约十年的历史，可以在 thelifeyoucansave.org 上免费获取电子书或有声书。Singer 在书中的主要目的，是表明帮助极端贫困中的人并不困难。确实存在高度有效的组织，并由专业的研究团队进行独立评估；把生活中的至少一部分投入到这项工作中，是有意义的。我们不可能都成为圣人，但至少应当设定一个目标：为那些并非自身过错、却几乎或根本过不上像样人类生活的人，做出积极贡献。

对于长期职业，他推荐 80,000hours.org，那里梳理了各种有伦理价值的选择：华尔街，赚取大笔收入并捐出其中大部分；强大的非营利组织，直接运用你的技能；从政，有小概率获得大的回报；公共服务，在那里你的才能可能上升到影响决策的层级；在回报可能很大的领域做研究。很少有人会去思考这些问题。他们常常停留在既定的轨道上，追求金钱和舒适，却可能发现这远不如知道自己在产生影响那么充实。至于捐赠，流行的答案是 10%，那是基督教和犹太教的传统什一税。Singer 看不出为什么这个比例应当不论收入多少都一样。税收是累进的，捐赠也可以如此。他建议的比例，从收入不高的人的 1% 起步，一直上升到收入很高的人的三分之一（33.3%）。这个比例与收入挂钩，他认为，这些数额都不会造成真正的困难。任何人都可以做到，并且知道自己正在为缩小极端贫困与富足生活之间的差距出一份力。

他从两个角度论证：在这样的世界里，当我们可以轻易帮助那些极度需要帮助的人时，这是一项伦理上的要求；同时，这件事也是有回报的。他说，心理学研究表明，捐得更多的人往往对自己的生活更为满意，或许是因为他们有超越自身的目标，也从不会闲坐着琢磨下一步该做什么。这场运动本身也是一个由有趣、善思、善良的人组成的群体。这样的朋友，本身又是美好生活的另一大贡献。

他已经七十多岁，忍不住会想到死亡。哲学并不能给他什么特别的洞见。他认为，假设我们来不及将他的心智上传，那么他身体死亡之后就什么也不会剩下，他也不期待来世。有限的时间本身就是一种推动：如果我们以为自己不会死，就可能把工作推迟十年或二十年。否则，他宁愿有更多的时间，也想知道自己所在意的那些事情最终会如何收场：气候变化是否真如许多科学家所说的那样严峻，我们能否以较小的损失勉强过关。他猜自己是看不到答案了。被问到更加荒谬的终极问题，即这一切的意义何在时，他说，生命的意义就是我们赋予它的意义。我们并不是为了某个更大的目的才被带到宇宙中来的。既然我们存在，有些事情在客观上是坏的，例如极端的苦难；有些事情在客观上是好的，例如丰富、充实、令人愉快的生活。我们可以尽力减少坏的，增加好的，这就是我们能做的部分。