30 秒看懂
Eric Weinstein 在访谈中对 Lex Fridman 说,John Brockman 为 Edge 拒绝刊登的那篇文章,并不是又一则关于通用人工智能(AGI)的恐慌故事。他说,真正可怕的东西已经在运行:人工生命,也就是任何具备变异、遗传和差异化成功的系统。从骗过传粉者的兰花,到能派生新进程的软件;从 1945 年以来的核僵局,到被当作窃听设备来卖的相机,这场对话一路讲到选择、认真的态度,以及社会对那些工作已经不能滋养灵魂的人负有什么责任。
- 1人工生命不需要心智Weinstein 说,我们一直在等着被 AGI 吓到,而那些已经同时具备变异、遗传和差异化成功的系统,却能在毫不理解任何东西的情况下寄生在我们身上。
- 2一株兰花和一只密苏里蚌,骗得比它们聪明的动物替它们效劳。塑造这些诱饵的智能,来自先前被骗的目标,诱饵本身并没有这种智能。人类同样可以这样愚弄自己。
- 3在你去理会一条让你反感的信息流内容之前,先问问为什么偏偏是这一条被推给你。与其和无穷无尽、只会让你讨厌的东西打交道,不如去碰撞那些你目前拒绝、却可能是真的、而且有意思的说法,这样更有用。
- 4没有物理快门、指示灯由软件控制的摄像头,远不只是隐私问题的一个注脚。Weinstein 直接点破:这些设备的配置,本质上就是窃听硬件,而隐私的说法底下,藏着的是社会控制。
- 5把人看作同时拥有一个打工者和一个灵魂。如果工作高度重复,哪怕是组合上新颖的重复,也会落进 for 循环的瞄准镜里;具有生成性的工作,暂时还有时间。
- 6如果你正在挣扎,就对自己宽容一点。你欠这个世界你的挣扎,但你不欠任何人成功;“全是社会的错”和“全是你自己的错”,两种说法都不成立。
按章节阅读完整文稿
真正起作用的教导,来自一次简短的对话
Lex Fridman 在 MIT AI 播客的开场,把 Eric Weinstein 介绍为数学家、经济学家、物理学家,同时也是 Thiel Capital 的董事总经理。Weinstein 曾创造“智识暗网”(Intellectual Dark Web)这个说法,用来指代一群联系松散的公共知识分子,其中包括 Sam Harris、Jordan Peterson、Steven Pinker、Joe Rogan 和 Michael Shermer。被问到会不会紧张,Weinstein 没有半点含糊,说自己吓得要死。
开场话题是《功夫熊猫》,这是 Weinstein 最喜欢的电影之一,Fridman 把它读成一个师徒的故事。Weinstein 对这个角色安排做了纠正。在他看来,真正重要的老师是那只乌龟 Master Oogway,而师父(Shifu)算不上。整部电影里他们只见过两次,而第一次几乎不作数。在他看来,这部电影的重点是:真正能传承下去的教导,往往发生在一次非常短暂的交流之中。
被追问现实中谁扮演过那只乌龟,Weinstein 给出了两个答案:一个是他的祖父母 Harry Rubin 和 Sophie Rubin,另一个是讽刺作家兼数学家 Tom Lehrer。开场剩下的内容算不上闲聊,它其实在提出一个论断:一个人的心智,要在后来的文化试图植入别的东西之前,就先被“接种”过了。
给孩子听 Tom Lehrer,之后的“恶意软件”就无从下手
Weinstein 说得很认真:给孩子听 Tom Lehrer 的唱片,会摧毁“他们被后来的恶意软件接管”的能力。这些作品如此不敬、机智、聪明,又带着下流意味,对很多人来说,它会毁掉他们只过普通生活的能力。每当他遇到一个表现方式与神经典型相去甚远的人,就常会问对方是不是 Lehrer 的歌迷。他声称,这个命中率高得惊人。
大多数人只知道他走红的几首歌:《在公园里毒鸽子》、《元素之歌》,也许还有《梵蒂冈拉格》。在 Weinstein 的私人评判体系里,只知道这几首,就暴露了了解得还不深。更深的作品里,有一首模仿 Gilbert and Sullivan 的戏仿,文字游戏密集到几乎没有意义,而能写出这样的东西,本身就是一种智力的展示。另一首他喜欢的歌词,把 1918 年之后德国的军国主义这种可怕的事,写得可以入口又很好笑,同时仍显示出作者的人性。
透过那些可怕的台词,Weinstein 说,能看到一个敏感而美好的灵魂,他借幽默与优雅把痛苦疏导出来。他在欧洲和俄罗斯的二战一代身上也见过同样的幽默,那里的人需要靠这种幽默来消化苦难。他的儿子满十三岁时,成年礼(bar mitzvah)的礼物是和 Lehrer 吃一顿晚餐,当时 Lehrer 八十八岁,头脑依然敏锐、依然不敬、依然风趣。他说,有些人,你得趁他们还在的时候去见一见。
有些人类经验的领域,最好永远不要知道
Weinstein 认为,美国人常常欣赏不了俄罗斯式的幽默,因为他们从没在那样的约束下生活过。在斯大林时期第 58 条的阴影下开玩笑,需要万分小心。从外部看,苏联讽刺杂志 Krokodil 这种东西几乎无法理解。跨文化的喜剧会撞上一个更残酷的事实:人类经验里有些领域,最好一无所知,而东欧对这些领域知道得太多了。
正是这种知识,让 Vladimir Vysotsky 的歌曲和普希金的散文有了如此强大的力量。Weinstein 猜测,美国在内战前后、奴隶制与 Jim Crow 制度之下,或是在煤矿和钢铁行业的劳资大战中,也碰到过类似的东西。没有这些选择性的压力,就很难想象集体文化会是什么样子。Fridman 试着安慰他:如果战争能催生文学、艺术、幽默和音乐,那不是件好事吗?Weinstein 的回答带着冷幽默:关于战争,除了死亡和毁灭,几乎一切都是好的。
他说,没有死亡,剩下的就只有浪漫,整件事看上去挺美好。这就是为什么我们总会卷入战争,也是为什么我们与战争的关系如此暧昧。战争让生活变得真实、紧迫、有意义,而代价从未如此之高。谈话从文化转向了机器的逻辑世界,而那笔代价依然摆在桌上。
汽车有骨骼和神经系统,软件有生殖系统
Fridman 把 AI 问题框定为物理世界与数字世界之间的鸿沟。Weinstein 不接受“数字”这个说法,他说应该叫逻辑世界对物理世界。即便是爱因斯坦被保存下来的大脑,作为一件物理对象,也毫无用处,因为里面存储的东西无法在逻辑层面被处理。逻辑存储和物理存储是两码事。他并不否认物质基础,他坚持的是一个独立的层次,这个层次不必等同于逻辑门、0 和 1。
这是 John Brockman 唯一一次邀请他为 Edge 撰写、之后又拒绝刊登的文章。Weinstein 的观点是:我们一直在等着被通用人工智能吓到,而人工生命早已到来,也早已足以令人胆寒。要形成选择压力,需要三个要素:种群中的变异、遗传性,以及差异化的成功。在人类造出的各种令人惊叹的东西里,软件是少数拥有类似生殖系统的复杂对象之一。
汽车是他一直举的例子,它几乎对应着所有生理系统:车架是骨骼,车载电脑是神经系统,油箱对应消化,滤清器则充当免疫系统。缺的那一块是繁殖,直到你能派生出一个进程为止。那时,你就能造出一个具备变异、遗传和差异化成功的东西,不论其中的人是否聪明,你都已经拥有了一套选择机制。
兰花和蚌说明,没有心智的诱饵也能寄生在更聪明的宿主身上
为了不让讨论跑偏,Weinstein 一直拿两个他最喜欢的例子,说明没有智能的生命能骗过有智能的生命。有些兰花模仿某种传粉昆虫的雌性,诱骗雄性用花瓣进行假交配。这朵花并没有用花蜜做诱饵,它是在作弊。在密苏里州清澈的溪流里,一种蚌(Lampsilis)会伸出一片肉质的唇瓣,看起来像鲈鱼爱吃的小鱼。鲈鱼一咬上来,幼虫就会猛然爆出,夹住鱼鳃,搭个便车。
在这两个系统里,较低等的生命形式都骗过了高度聪明的受骗者。塑造出令人信服的诱饵的,是先前受骗目标的智能,兰花自己的心智并不在其中。当目标聪明到能避开某种策略时,较弱的模仿者就会灭绝,只剩下更好的那些。被寄生的物种变得更聪明,没有智能的东西则变得“仿佛”更聪明。这场军备竞赛并不需要 AGI 来寄生我们,只要我们自己骗过自己,就已经足够了。
他描绘了一个完全不需要理解力的噩梦:一个类似尼日利亚骗局的程序,负责写信,并根据谁给它汇过比特币,来决定保留、变异还是丢弃哪些片段。免疫系统则是一种两面的安慰:它并不知道下一个病原体是什么,但一小组能够张成整个空间的组件,就能近似出许多种结合形状。表达能力既是安全,又是恐怖。Fridman 提到,OpenAI 出于担忧推迟发布一个文本生成器。Weinstein 对他们的迟疑感到高兴,同时确信他们终究会放出来。谈论这件事,也许会把那个东西召唤出来;而进一步的创新,也许能把它约束住。无论如何,他说,我们正以越来越快的速度滚下山坡。
这个时代的谜题是:1945 年以来,那些玩具再也没有真正用于战争
Weinstein 一直被 Edward Teller 写给 Leo Szilard 的一封信萦绕心头。二战末期,Szilard 正努力控制原子武器。Teller 常被塑造成怪物形象,但这封信显示出他先进的道德思考:生存的机会微乎其微,唯一的希望是让战争变得不可想象。Weinstein 说,做技术问题的人里,很少有人能从骨子里感受到自己在摆弄什么。他推荐《桂河大桥》,讲的是一群被俘的英国战俘,因为想把桥修好,最后反而和俘虏他们的人合作。
9·11 在美国本土如此反常,以至于人们震惊地发现,这种事居然可能发生。Weinstein 把它解读为阿富汗一支富有创造力、意志坚定的研发团队,展示出一些没人选择公开表达的能力。他说,他还能想到另外一些例子,但不会公开讨论。更大的谜题是:自 1945 年核武器被用于实战以来,世界为何能保持如此稳定。其间有过险情、失误和边缘政策。我们已经习惯了一种感觉:这种事永远不会真的发生。这也是他对 Ben Shapiro 说,美国应该恢复地面核试验的原因。一代人的成长经历是特朗普和金正恩在 Twitter 上互相放狠话,他们学会了把姿态当成电子游戏,而自 1945 年以来,这一判断大体都是对的。
电视电影《次日》(The Day After)曾经迫使一代人去想象核交换之后的生活。他说,长辈们随后就修起了一座花园,把玫瑰的刺都剪掉了,于是人们形成了一种不切实际的想法:一切都会好起来。他不确定自己最该担心的,是 AGI、热核交换,还是基因驱动。他知道这场实验是有限的,因为那些玩具令人印象深刻,而与之相称的智慧却始终没有出现。俄罗斯有一种婚礼习俗:在人生最幸福的那一天,去斯大林格勒阵亡者的纪念碑前致敬。在他看来,这种认真态度的范例,比美国那套更值得推崇。
真正的转折出现在 9 月 12 日,那天没人想开口,也没人急着冲到电脑前把情绪倾泻出来。Weinstein 说,由机构把关的官方叙事,在他五十三年的人生里已经断裂过三次:特朗普当选、雷曼兄弟倒闭,以及 9·11。俄克拉荷马城爆炸的冲击还不够深。觉醒之后,人们接到的告诫是去购物,这一部分是自发的,一部分是刻意的,因为聚在一起的人会形成一股力量。全球主义叙事与民族主义叙事如今朝相反的方向拉扯。失控的民族主义是一场噩梦,失控的国际主义同样如此。需要的平衡,是在不忘记全球体系的同时,对本国同胞承担更高的照顾义务;而过去几十年里,恰恰有人靠抛弃国内义务发了财。
理论物理是我们最深的共同体,它却在白白耗费自己
Weinstein 说,在学术界做原创工作是个糟糕的选择。你必须不断表现出对共识的忠诚,并用几乎肉眼看不见的异端来让自己与众不同。里面的人很称职,甚至很优秀,社交网络至少在数学领域,以及理论物理的技术层面,水平都很高。外面遇到的则是一群拒绝共识的疯子,他们几乎总会迷失方向。眼下真正的问题是:进步更可能来自那种留在体制内、能够承受更大异端的人,还是来自那种在外面保持纪律、并利用不必表态效忠的自由的人?
他把弦论(string theory)看作几乎完全属于婴儿潮一代的现象,而它之所以能成为这样的现象,是因为它要求极高的数学能力。他并不认为这一整套东西毫无价值:弦论学者阐明了很精彩的数学和物理结构。但他确实认为,这套东西终究不会交付成果,而这个计划实际上起到了给那些擅长几何的婴儿潮物理学家的一种“平权行动”的作用,因为他们需要说自己是在研究量子引力。1983 年和 1984 年,他眼看着物理学陷入疯狂,却发现数学没有疯,于是离开物理学,转而以数学家的身份研究同样的对象。代价是失去了物理直觉。不过,这总比被送进再教育营要好。
他对物理学家的爱恨,爱远多于恨。业余时间里,物理学家帮忙发明了分子生物学。薛定谔的《生命是什么》很有启发性。雷达、两种原子装置、半导体、晶体管、作为加速器外部性的摩尔定律,以及万维网,全都出自这个群体。他们签下了世界上最糟糕的授权协议。如果他们对每个晶体管或每个网址都收费,科学的政治经济学就会大不一样。结果公众却问,凭什么要用纳税人的钱资助他们。而 Weinstein 认为,对标准模型(Standard Model)做出过真正理论贡献的最年轻的人,生于 1951 年;1973 年或 1974 年之后,几乎没有什么成果,能让一位理论学家因为一个被预言的实验而前往斯德哥尔摩领奖。
他说,这个群体还没有正视自己的处境,也没有分享其他领域迫切需要的工具,其中包括作为牛顿与莱布尼茨工作升级版的规范理论(gauge theory),以及作为分层现象标准程序的重整化(renormalization)。手握这些宝藏,大学却在功能上“疯了”。在大缓和(Great Moderation)时期,拿着正规学位的专家们宣布,波动已经被驱逐了。Nassim Taleb 和 Nouriel Roubini 是对的。波普尔和证伪法被当成抵御疯狂想法的护身符来供奉,其实它们是用来检验工作的,并不负责把工作做出来。Dirac 1963 年发表在《科学美国人》上的那篇文章,以及 Watson 的《双螺旋》,是他布置的必读材料。资助你害怕的那些人,排除那些浪费时间的人。光靠规则是走不到那一步的。
信息流能优化你讨厌的东西,却没法告诉你什么可能是真的
Weinstein 说,社交平台推行了一种会导致疯狂的认知负荷,其中一条是:被你不同意的东西挑战,是件好事。他的回答是否定的。被你目前不同意、却可能是真的、又有意思的东西挑战,才是有益的。初步来说,他并不在乎自己是否同意。他需要知道的是,为什么偏偏是这条令人反感的内容被推给他。他完全可以写一个生成器,源源不断地吐出无穷多条没人需要看的、令人反感的句子。
这些网络平台的回应是一句笼统的“我们正在处理”。它们目前能优化的,只是你不喜欢的东西,而你应该考虑的东西,它们却优化不了。他不明白,那些有能力做出谷歌、Facebook 和 Twitter 的人,为什么总让公众停留在如此低级的讨论里。他们手里有能把讨论提升上去的人的电话号码。可他们却把这些人挤出了房间,转而去优化用户看不见的东西:利润是其中之一,但也包括政治控制,以及在一些话题不容触碰的地方做生意这件事。在他看来,这是一场假的对话。
高可用的 Gmail 并不能说明,同样的机构就能驾驭人类行为。他最喜欢问的几个硬件问题是这样的:为什么他买的每一件科技产品,都配得像窃听设备?1970 年代的相机,曾经有一个物理快门充当镜头盖,现在那东西去哪儿了?为什么指示灯是由软件控制的?为什么不用一种无法绕过的机械装置?Fridman 希望隐私方面的讨论已经在进行,而且比表面看上去更复杂。Weinstein 插话说:问题远不止隐私,还关乎社会控制。他为什么连自己那一边的操控杆都没有,连一个能调节算法、或者至少能看到算法的界面都没有?涌现与意图是两个坐标轴,而这个矢量并不会坍缩到任何一个轴上。他说,谁要是认为意图完全不存在,那就是幼稚。
人既有打工者的一面,也有灵魂,而打工者可能已经不能滋养灵魂
Fridman 问起自动化、就业,以及像 Andrew Yang 提出的全民基本收入这类方案是不是答案。Weinstein 借用了一个面向对象的比喻:人“拥有”一个打工者,也“拥有”一个灵魂。在一段时间里,打工者还能滋养灵魂。这两种对社会价值的主张必须分开。灵魂需要滋养、尊严、意义和目标。如果你的谋生方式并不高度重复,那么在需要担心之前,你还有一段时间。
如果你做的事情高度重复,又没有太多生成性,那你就落进了 for 循环和 while 循环的瞄准镜里。计算机擅长重复性的行为,包括那些从未发生过、却能通过组合可能性冒出来的事情。只要工作带有循环的特征,你就有麻烦。一个相对平庸的中位数普通人,仍然需要繁衍,也需要尊严。当资本主义抛弃了中间的普通人,或者最底层的十分之一,它就是在玩火,离革命不远了。
他首先批评的是那些资本主义不够彻底、看不到危险的资本家。这些人一直在说:再努力一点,靠自己把自己拉起来。可是贡献与消费已经脱钩了。雷曼兄弟倒闭那天,他在曼哈顿的一间办公室里想:如果金融体系不再激励人们,那还有谁会告诉人们该去上班?他提到自己写过的文章《Anthropic Capitalism and the New Gimmick Economy》。他从家族记忆出发,讨厌共产主义,认为那是一个错误的想法,但他仍然押注资本主义,并且对自己这一边的人很失望。他说,超级资本主义将不得不与超级社会主义配套:让最有生产力的人去创造奇迹,别再用额外的“和善”要求拖累他们。“和善”没有未来,因为“和善”最后只会通向古拉格。“好”才有未来。
你欠世界的是你的挣扎,你不欠任何人成功
Fridman 引用了 Weinstein 当天发的一条推文,那是一个仿照数学公式写的戏谑等式,说每一单位名气都会附带跟踪狂和黑粉。Weinstein 请大家别把 280 个字当成法律。他之所以写下“imagine”,是因为数学家对精确性的执念还在隐隐作痒。被问到如何处理自己这种古怪的名气时,他说,他想对自己和别人都更友善一些,要有善心,也要有同情心。他还描述了一种接近谱系的、高度字面化的分析模式,他可以随时切换进去,用他自己的说法,叫“兼性自闭”(facultative autism),在他写代码或做数学时能看得出来。
打工者与灵魂之间的张力,又以自我修炼的形式回来了。很多人为了优化其中一方,不惜牺牲另一方。他自己也为社交媒体、针对家人的威胁,以及人们承受的巨大痛苦而挣扎。他想传达的信息是:每个人,包括他自己在内,都必须拼尽全力去挣扎,因为替你完成挣扎,不是任何人的分内之事。接着他话锋一转:如果你正在挣扎、正在努力,并且在盘点自己让哪些人失望了,那就对自己宽容一点。他一生都与失败和成功纠缠在一起。他人生的任何一个阶段,都不只包含其中一种。
很多人以为这种生活很风光。他即将和 Sam Harris 一起登台,让陌生人听两个男人聊天,他觉得这件事本身荒唐透顶,并且正努力确保听众能得到最大的收获。你欠我们的是你的挣扎。你并不欠家人、同事或恋人成功。在一个已经没有力量撑起各种机构的经济体里,你要守住自己的人性。这个经济体让顶层的人变得残酷,也让所有人都在撒谎。如果你失败了,不一定全是你的错。他没有见过哪个人能同时做到诚实、善良、正派又成功。只怪社会,是不合理的;说自己要负 100% 的责任,他说,那纯属胡扯。
同频道的其他文章
3:36:56EN → 简体中文
5:15:51EN → 简体中文
3:12:58EN → 简体中文
3:46:18EN → 简体中文
3:51:47EN → 简体中文
2:53:42EN → 简体中文