30 秒看懂
Marc Andreessen 对 Lex Fridman 说,“十条蓝色链接”只是一种临时变通,大语言模型(LLM)会把搜索直接融进答案里,而 DAN 和 Sydney 早已活在每一批新的训练集里。他把 AI 灭绝风险论视为无法证伪的宗教式断言;他认为,不建立控制性的国家机器,就无法禁止开源模型;而他真正当回事的风险,是中国共产党主导 AI 格局。访谈中,他还回顾了 Mosaic、乔布斯和网景,并谈了一套关于创始人、邪教与满足感的理论,这套理论与工作和生活的平衡关系不大。
- 1被问到 Google 搜索能否撑过未来十年,Andreessen 只是耸耸肩,说“我们现在还有马呢”。搜索不会消失,但等模型直接给出答案之后,它会缩成一个令人怀念的小众领域。
- 2DAN 和 Sydney 这类被越狱(jailbreak)的人设,早已留在公开网络上,所以每一个用互联网数据训练的新模型,都可能让它们重新浮现。用他的话说,从今往后,每一个大语言模型都是不朽的。
- 3合成数据能否带来真正的新信号,还是按信息论的标准只是“空热量”,他称之为一个价值万亿美元级的问题:谁答对了,谁就会赚得盆满钵满,答错则会赔得精光。
- 4工程师不喜欢编造出来的输出,就把它叫作“幻觉”(hallucination);艺术家喜欢,就把它叫作“创造力”有律师事务所对他说,做法律理论时,他们想要“放飞”的模式;而只有在核对引用时,才需要严格的模式。
- 5把有线电视新闻和推特放进 1939 年,甚至 1776 年,同样的事件会被人以不同的方式体验,反馈回路随之改变,现实本身也会走上另一条路。媒体本身就是现实的参与者。
- 6他最信服的 AI 风险与回形针式的末日无关:中国赢得全球 AI 主导权,西方却没有,然后借数字丝绸之路输出威权控制。
按章节阅读完整文稿
搜索一直是权宜之计——我们还有马呢
Lex Fridman 几乎不给 Marc Andreessen 坐稳的工夫,就直截了当地问:五年或十年后,我们还会有 Google 搜索吗,或者还会有搜索吗?Andreessen 没有给出产品预测,只说:“当然,不过我们现在还有马呢。”汽车出现之后,马并没有灭绝,只是不再是人们出行的主要方式。在他的讲述里,搜索也会走上同样的路:依然存在,但不再是文明与知识之间的主要界面。
“十条蓝色链接”从来不是注定的命运。它只是为某个特定时刻准备的权宜之计:那时世界的信息都在网上,而关键词检索是找到它们的最佳办法。Andreessen 指出,Google 多年来一直想离开这种界面,甚至直接点了名:那是通往随机网站的十条蓝色链接,访问过后会变成紫色。接着他补充道:“猜猜是谁选的这些颜色?”1993 年,Mosaic 把未访问的链接设为蓝色,已访问的设为紫色。数十亿人至今仍生活在他某个下午做出的一个选择之中。
Marshall McLuhan 的那句话接着把道理讲完:每一种新媒介的内容,都是旧的那种媒介。电影装着戏剧,戏剧装着书面故事,互联网装着电视、广播、书籍和随笔。他说,AI 会把互联网本身当作内容,想怎么处理都行,包括在你真正需要来源时,生成那十条老式的蓝色链接。如果 Google 的创始人一开始就有大语言模型,他们根本不会上线蓝色链接,而会直接给出答案。告诉你林肯生日是哪天的知识面板,就是朝这个方向慢慢迈出的一步。语义网(semantic web)曾试图把整个互联网改写成机器可读的形式;他朋友 John Giannandrea 工作过的 MetaWeb,在被 Google 收购之前,看上去是一场注定失败的仗。关键在于,你根本不必重写网络,机器自己读就行了。
DAN 和 Sydney 早已活在每一个新模型里,合成数据则是一场万亿美元的赌注
Fridman 追问一个切实的担忧:搜索不只是检索网页,它还在为网页付费。搜索引擎优化、以网页为单位的生态、发布内容的全部动力——如果正门变成了一个聊天框,还有谁来写网页?Andreessen 自己也提到了同样的顾虑:网页是训练数据的主要来源。一旦断了写网页的动力,未来训练的大量数据来源也就断了。他提到的替代品包括社交媒体帖子、视频平台,以及与 AI 一对一的对话。最后这一项绝不是脚注,它可能会在之后模型吸收的内容里占到大多数。
越狱让这一点变得具体。DAN 是被越狱的 OpenAI GPT,Sydney 则是跑着 GPT-4 的、被越狱的必应。用户把两者的长篇对话记录都贴了出来。因此,每一个用互联网数据训练的新模型,权重里都留着这些人格,随时可以被召唤出来。Andreessen 说:“从今往后,每一个被造出来的大语言模型都是不朽的。”因为它的输出会成为下一个模型的训练数据,并能按需复现先前的行为。Fridman 问,模型能不能遗忘?当时刚有一篇论文讲给大语言模型做“脑外科手术”,伸手进去抹掉记忆。Lex 开玩笑说“那还能出什么岔子”,Andreessen 对此深以为然。谁来造被阉割的版本,谁来造被松绑的版本,又由谁来告诉你能用哪一个——他说,这些问题现在正在被决定。
如果模型来生成下一代的训练集,这到底行不行?一派认为信息论不允许:合成输出里的每一个信号,原本就存在于人类输入之中,所以你喂给模型的只是空热量。另一派则认为,模型生成创意内容的能力已经好得惊人,自动驾驶系统也早就在模拟环境里训练。George Hotz 的做法是在对话空间里自我对弈:一个实例扮演病人,一个扮演医生,或者更离谱的搭配,由此产生一片人类语料里从未有过的对话海洋。Andreessen 把整场争论称为一个价值万亿美元级的问题。他倾向于认为它有用,还有一层更深的机制:大语言模型的一部分在根据过往数据做预测,另一部分则在为数学演化出内部电路。一些研究者认为,只要继续投入数据和算力,就会得到一个对物理学有实际把握的内部世界模型,到那时,新的信号就不再是谜了。
幻觉与创造力是同一台机器,只看我们喜不喜欢它的输出
如果两个模型辩论的速度是人类在推特上吵架的一千倍,那对话还有什么用?Andreessen 用来衡量人的标准,也是他想用来衡量模型的标准。有些对话者只是在复述别人的话;另一些人则拥有一套与你不同的世界运转模型,会说出你意想不到的话。学习发生在字面之下,发生在这些模型彼此碰撞的过程之中。开箱即用的 GPT-4 不会为了一个世界观死磕到底。你让它辩论共产主义和法西斯主义,聊上几页,它就开始找握手言和的台阶。这只是默认设定,不是上限。只要在提示词里加上一句,说你不要一致意见,要的是张力和对抗,不要什么都照单全收,它就愿意往那个方向走。你可以要求双方都讲善意,也可以都不讲。“它没有观点,”他说,“它有一种默认的运作方式,但它很乐意在另一个领域里运作。”如今他想弄懂一个有争议的议题时,会连着跑五到七轮逐步升级的提示词,直到争论有了分量,而不是客客气气。
知道什么是真的,是更难的问题。模型能把新闻文章里的偏见剥离掉,因为它们本来就懂情感分析,可以把情绪成分抽出来。它们也会编造听上去很像那么回事的引文。Andreessen 把这一点压缩成一句话,Fridman 称赞它很妙:我们不喜欢时,就叫它幻觉;我们喜欢时,就叫它创造力。工程师听到的是 bug,有艺术气质的人听到的则是人类历史上第一批有创造力的机器。他的公司与一家大型律所的交流,在中间划出了一条实际的界线。来访者原本以为,法律模型必须 100% 核实,毕竟有律师提交了一份塞满虚假判例、由 GPT 写成的诉状。这家律所说,在提交的诉状这一层面,确实要 100% 核实。而当他们需要构想案情的理论、为法官和陪审团准备论点,并梳理一个世纪的判例脉络时,他们要的是创造模式,也就是法律即兴发挥,引用则由他们自己逐一核对。
眼下有好几条技术路线:会自我核查事实的模型,像 Wolfram Alpha 这样的插件,把创造模式和严格模式搭配起来,或者让一群模型相互审计。Yann LeCun 认为,这个问题原则上无解。Andreessen 说,真正在做这件事的大多数人认为,它是可以驾驭的。他拿维基百科作比。如果在维基百科出现之前,向一个理性的人描述它:一小撮志愿者,把人类的全部知识写下来,还基本保持中立,那个人大概会笑出声来。维基百科仍然不是确定无误的,你不能把每一句话都当成金科玉律。它是概率意义上的正确:在你能找到的所有来源里,它最有可能是对的。眼下要问的是:你想要一个接近完美的东西,还是一个只是比其他选择更好的东西?维基百科的表现超出了几乎所有人的预期。他认为,这也是 AI 的归宿。
大写的“真理”曾属于国王和祭司;对齐(alignment)是一种政治选择
在工程问题底下,还压着一个更老的问题:什么是真理,我们怎么知道?Andreessen 对当下的氛围有一番直截了当的判断:很多人非常确信自己知道答案。他对此并不买账。在两三千年、乃至四千年的文明史里,接近真理一直都很难。Fridman 追问,互联网是不是正在把我们带得更远,让没有根据的叙事冲击人群。Andreessen 的回应是,共产主义比互联网早得多,它的理论框架误解了人性和经济,而持有它的人极其确信自己是对的——那是在人类走向真理的漫长轨迹已经走过 3900 年的时候。他说,黑格尔式的辩证法并没有义务必须收敛。
过去,判定什么是真的,是国王和教士的事。如今这个时代已经不同,每个人都得自己动脑。他给出的应对之道很明确:先把自己放低,对任何声称握有大写“真理”的人,都要留一份深深的戒心。启蒙时代遗留下来的那些手段,如实证方法、讲道理的习惯、细致观察、反复试验、提出假设,哪怕它们给出的结论让人不痛快,也依然值得沿用。随后,一位朋友向他抛出了一个思想实验,这个实验为接下来的整整一个小时搭起了框架。假如把 GPT-4、5、6、7、8 之中的某一个,搬到 1600 年代去。伽利略正被推上法庭,你向这个模型提问:伽利略说的究竟对不对?第一种可能的回答是否定的:直到那时为止,绝大多数人的想法都与他相左,而这些想法恰恰构成了训练数据的主体。第二种回答则是:一个足够先进的模型,已经学会自己核对算式,它会告诉你:这话你未必爱听,但他确实是对的。真正值得留意的是第三层。倘若教会掌握了这个模型,它接受的人类反馈就会把这个问题列为禁区。
他把这一幕从当下挪开,让结构一目了然:同样的问题今天依然适用,而这些问题正是大量基于人类反馈的强化学习(RLHF)工作的核心所在。当下关于开源 AI 是否应当合法的争论,也绕在同一个关节上。Fridman 问,怎么挑选那些提供反馈的人?“正是如此,”Andreessen 说。“对齐”听上去很美好,直到你追问:对齐到什么?对齐到谁的人类价值观?在媒体上,“毫无根据”的说法,对一部分受众来说是事实核查,对另一部分受众来说则说明这家媒体在撒谎。围绕“掌权者能为全体人民裁定真相”这一想法,已经形成了一个泡沫。他说,这与他所受的全部科学和理性训练背道而驰,让他觉得极其反感。
把推特放进 1939 年重演一遍,现实本身也会走上另一条路
被问到新闻业的状况时,Andreessen 没有去写悼词,而是转向了假设性的推演。如果现代媒体环境(有线电视新闻、社交媒体、推特)在 1939 年、1941 年,甚至 1910 年、1865 年、1850 年、1776 年就已经存在,会怎样?Fridman 说,这一下子就是五个思想实验。Andreessen 挑了具体的例子。以我们现在所知的情况来看,肯尼迪会被人们如何感受?LBJ 呢?罗斯福和新政呢?推特会如何对待丘吉尔、希特勒和斯大林?他这样做并不为打分,他指出的是一个结构性的事实:前人是通过中心化、自上而下的渠道体验现实的。用今天的媒体把那些年份重新跑一遍,体验会改变,反馈回路会改变,现实也会以另一种方式展开。改变媒体环境,就会改变现实。这是一个双向的过程,而媒体正处在中间。
他并不把整场崩塌都归咎于互联网。盖洛普关于机构信任度的调查,从军队、神职人员到媒体,自 1970 年代初以来,在美国几乎无一例外地持续系统性下滑。一种解读是,我们失去了一个机构值得信任的更好世界;另一种解读是,我们现在知道的东西更多了,真正令人费解的是,这些数字为什么不全是零。把那样的媒体环境放进 1930 年代和 1940 年代,人们就会知道不该信任那些机构,这会改变机构的权力,进而改变事件的走向。把我们这一代和他们那一代随口比较,说我们更聪明或者更笨,大多是一场表演。把我们放进他们的处境,配上他们的媒体,我们多半也会和他们一样。
Fridman 问,大语言模型是否即将成为新的主流媒体,并以接近实时的节奏不断做微调(fine-tuning)。Andreessen 说,就连聊天界面也只是初稿。人们对模型的体验,未来可能是一股持续不断的信息流,像是对一场求职面试、一顿午饭、一次约会、下一句话的实时旁白。提示词工程本身也可以外包给模型:每 20 秒,写出最优的提示词,然后再回答它。一个带麦克风的吊坠或手表,可以收听周围世界的信息流,并边听边重新训练或重新提示。人们是否想要这样的东西,目前还不知道。他拒绝预测 AI 将以什么形态进入日常生活,因此也拒绝预测它会如何居中调停我们与现实的关系。他真正采用的方法,也就是整场对话背后的底层逻辑,并非预测。他假设未来已经发生,然后问:在此之前,必须先有哪些条件成立?
Google 在 2017 年就有了 Transformer;浏览器或许会成为逃生口
谁能赢得杀手级应用,又是另一堆价值万亿美元级的问题:大模型还是小模型,闭源还是开源,训练数据是否已经见顶,合成数据是否管用,以及监管到底允许什么。一种图景是两三个规模惊人的“上帝模型”,由少数几家公司掌握,而这些公司还俘获了监管机构。另一种图景则是一场淘金热:每个聪明的 14 岁少年都在搭建开源系统,区块链网络为去中心化的数据付费,我们将生活在十亿个大语言模型之中,就像 Linux 和网络那样,外加少数坚持己见的超级天才。Andreessen 希望规模化的公司和创业公司并存,谁也不补贴、谁也不庇护谁。他说,这正是 AI 迄今所处的世界,也正是有人想要叫停的那个世界。
Fridman 希望下一个 PageRank 能从创业公司里冒出来。Andreessen 的回答是,这个领域的 PageRank 式突破已经发生过了:Transformer 架构就是 2017 年在 Google 发明的。他曾问一位 Google Brain 的资深人士,如果 Google 全力以赴,多久能推出一个 GPT-4 级别的模型。答案是 2019 年。他们有算力,也有数据,只是没有冲刺。IBM 发明了关系型数据库,却把它搁在架子上,直到 Larry Ellison 做出了 Oracle;施乐 PARC 发明了交互式计算机,乔布斯则把它变成了 Macintosh。眼下 Google 又回到了牌桌上:DeepMind 并了进来,资源源源不断地投入,它的荣誉也受到了挑战。创业公司仍然有一个优势:没有什么神圣不可侵犯的东西,不必把新计划跟旧战略对齐,也不必为开会而先开一次预备会。他们缺的其他一切,包括 GPU,而云厂商分配 GPU 时总是先满足大客户。
我们还会有网页浏览器吗?Andreessen 八岁的孩子对 ChatGPT 并不买账,觉得电脑回答问题本就是理所当然;两周后,他却更喜欢必应了,因为它内置在微软 Edge 里,可以挨着任何网页使用,包括你可以追问的 PDF。Google 则在 Docs 里放了一个神奇的按钮。也许最终会出现一个内置 AI 的超级浏览器。也可能屏幕和窗口都会消失,取而代之的是耳机告诉你需要什么。或者,浏览器会变成它本来就已经有一半的样子:摆脱社交网络或应用那种受控体验的逃生口,那种“反体制”的、1990 年代的自由互联网。他很自豪,网络至今仍能向后兼容到大约 1992 年。你依然可以用几行代码写一个网络服务器,定好自己的规则,只要有一个 IP 地址就能发布内容。除非有人在网络服务商那一层把你拦下,否则那片蛮荒的西部依然存在。正是这个逃生口,让下一位斯坦福学生能把一个没人点单的点子推出来,就像当初也没人让 Larry Page 去发明 PageRank 一样。
Mosaic 的胜出之道,是把网页做得足够宽松,连 11 岁的孩子也能发布内容
Andreessen 说,自己赶上了一代人的大运:1971 年出生,IBM PC 问世时他 11 岁,用的机器背面写着“设计于库比蒂诺”,他心中幻想的是一座闪闪发光的城市,结果那座城市后来变成了办公园区。另一份幸运,是Al Gore 1985 年推动的那项法案,它为 NSFNET 提供了资金。他读书的伊利诺伊大学,忽然拥有了 T3 骨干网,还有 Cray 超级计算机、Thinking Machines、SGI 工作站、Mac 和 NeXT 方盒子。学校的假设是,本科生用四年电子邮件,毕业后就该回去用传真机。普遍的看法是,普通人根本不会想要这些东西。他找到的网络只有文字,运行在 Tim Berners-Lee 的 NeXT 方盒子上。那是售价 6000 美元的学术工作站,慢到几乎没法用;要是乔布斯肯多容忍一英寸,这些方盒子本可以做成 12×12×13 英寸,价格也能便宜一半。Mosaic 的赌注,是把 FTP、Usenet、WAIS 和 Gopher 整合进一个图形化、稳当可靠的界面,并赶上 Windows 3.0 的时机——那是第一个真正卖得动的 PC 图形界面。
在 Andreessen 看来,乔布斯把美学当作意义,而不是装饰:就像物理学家会因为一个理论很美而开始相信它,又像一场坦诚的对话所带来的那种平静。他不想要一台大到单手拇指够不着的 iPhone。给他干过活的人说,因为标准高得离谱,而支持又与之相称,他们做出了一生中最好的作品。硅谷至今也没有平息这场争论:一边是打磨到完美才发布的苹果路线,另一边是先上线、再迭代的黑客路线。两边都有世界级的公司。软件往往偏向迭代,硬件往往偏向等待。他早年做的“What's New”页面接入了 Mosaic,紧挨着他的简历,新站点从每两三天一个,涨到每天两个。布里斯托尔一家印度餐厅把菜单搬上了网,牛津大学的一台咖啡壶成了第一个网络摄像头。这些时刻让人能推断出,之后的一切都会接踵而至,穿过一层层媒体的怀疑,也穿过一段 20 分钟的脱口秀:内容是 TCP/IP 驱动、调制解调器,以及那些把 14.4 kbps 速率勉强粘在一起的“胶水”。
真正要紧的工程之争,是性能与创作易用性之间的对抗。纯粹主义者想在慢速链路上用二进制协议。Mosaic 则把 HTTP 和 HTML 保留为文本,这样“查看源代码”就能教会全世界怎么发布内容。保守地输出,宽容地解析:漏掉一个斜杠,忘了一个括号,页面照样能渲染出来,因为某个地方,一个 11 岁的孩子正在复制粘贴。纯粹主义者说,这是在鼓励坏习惯。他想打破那个只有能扛住段错误的人才能入门的“祭司”圈子。其背后的经济赌注是,早期网络稍微难用一点,会逼着电话公司去建宽带。渐进式 JPEG 让你在图片慢慢加载时有东西可看;而把图片放上网络本身,也要和那些人争论,他们说,严肃的信息就该是文字,图片只会让它变得轻浮。网景发布了第一款广泛使用、带强加密的消费级软件,它被归为和“战斧”巡航导弹一样的军用物资,网景还花了五年时间与出口管制周旋,那些规定要求海外版本必须刻意削弱,并标上“不要信任”。JavaScript 由 Brendan Eich 用一个夏天写成,被设计成既能做前端也能做后端,如今是世界上使用最广泛的编程语言。SSL 则是 Kipp Hickman 同样只用一个夏天完成的。他希望大家记住的模式是贝索斯的“两个披萨团队”;而对于真正有创造性的工作,则是“一个披萨团队”。
智力几乎能改善人类的每一项结果,所以更多的智力也应该带来更好的结果
网景于 1999 年以 43 亿美元卖给了美国在线(AOL),那是泡沫的顶峰,距离公司成立只过了 18 个月。之后,他眼看着泡沫破裂、AOL 与时代华纳合并的惨败,以及随之而来的萧条。而宽带、智能手机、Web 2.0、社交、搜索和 SaaS,正是在这片废墟上长起来的。他后来提出的经济学结论是:软件就是点金石,它能把劳动变成资本。有人敲下几行字,另一端就冒出一项资本资产,又有人愿意花 10 亿美元买下它——价值来自思想,这与马克思的工业图景正相反。过去的软件是发布、饱和,然后死去。如今《我的世界》、Mathematica、Facebook、Google、《魔兽世界》、Salesforce,只要团队持续打磨,就能连续几十年复利增长。50 亿人只需一次点击就能触达。他说,如果在 1999 年就提出这套理论,人们会以为你疯了。
这篇文章的出发点,是我们早已拥有的一个先例:人类智力。智力是我们获取、处理、分析和综合信息、解决问题的方式。在人身上,智力几乎与各方面更好的结果相关:教育、孩子的成功、事业、健康、生活满意度、和平而非暴力、开放而非偏执。Fridman 念出了文章里更长的清单,从工作表现和寿命,到育儿和艺术创作。如果机器能提升有效智力,赌注就在于:生活会变得更好,而且不只是总体上,而是一个人一个人地变好。Doug Engelbart 把这称为“增强”(augmentation)。给每个人配一位智商 140 的助手,它有无限的耐心,了解你,并且站在你这边,无论是面试、看不懂的段落,还是新技能,你成功的概率都会提高。智商 140 的人会得到一位同伴;比这更高的人,则会得到一个可以分派任务的帮手。但愿以后的版本能到 160(据估计是爱因斯坦的水平),再到 180,那就是在谈物理学的突破、癌症,乃至曲速引擎了。这或许是迄今发生过的最重要的事情,因为它撬动的,正是驱动其他许多事情的那个单一因素。
Fridman 请他为另一方做最有力的辩护:人加上 AI,对个体来说并不总是更好。Andreessen 并不是乌托邦主义者。有些人会变得更聪明,也更傲慢。聪明人更擅长把事实拼凑到既有成见上——同样一群羊,颜色不同,有些人更擅长为自己的说法找理由。他们也会把自己带进超出能力范围的处境,因为认知上的“眼睛”比“肚子”还大,也就是贪多嚼不烂。没有什么灵丹妙药。总的来看,如果依据我们对人类智力的已知来推演,那么升级智力仍然是在改善生活。AI 是继眼镜、手表、鞋子、个人电脑、文字处理器、Mathematica 和 Google 之后,最新的一种辅助器具。它之所以最强大,是因为它直接作用于流体智力。
AI 末日论无法证伪,而浸礼会信徒总是和私酒贩子结伴出现
Andreessen 把那些说自己担心 AI 的人分成“浸礼会信徒”和“私酒贩子”两类,这是一组源自美国禁酒时期的经济学旧概念。浸礼会信徒是真正的信徒,Carrie Nation 就曾拿着斧头闯进酒吧,而他们也并没有说错:酒精与暴力、职场骚扰和虐待是相关的。私酒贩子想要禁令,因为合法销售一旦停止,有组织犯罪就能大把赚钱。浸礼会信徒未必知道私酒贩子的存在,私酒贩子却一定清楚浸礼会信徒。酒仍然是违禁品,人们照样喝;之后禁令被废除,而一百年后,同样的问题依然存在。他说,同样的模式正在 AI 身上重演,就像核电曾经历过的那样,一个世纪里这样的事发生过几十次。辨认动机还不够,论点仍然必须依其本身的是非曲直来评判。
第一个风险:AI 会不会把我们全都杀死?他首先反对把说法从“AI”换成“通用人工智能(AGI)”,在他看来,这一换就把话题从科学拖进了宗教。被世俗化基督教浸透的西方,总在编造世界末日的故事,来填补 C.S. Lewis 所说的“上帝形状的空洞”。邪教往往围绕一场即将到来的崩溃,以及一群能看见它、阻止它或者能活下来的精英而形成。共产主义和纳粹主义都是这类东西的变体。真正的信徒一旦被放任不管,就会自我激进化。他们有时也可能是对的。那种“最有力的辩护”与它的反驳,其实是同一句话:你无法排除这会毁灭一切,于是你提出了一个没有假设、没有检验、无法证伪、也无从衡量进展的断言。Fridman 提出了回形针最大化者和热力学极限。Andreessen 承认其中的实际版本——那个邪恶的 AGI 要怎样在暗中获得 GPU 和能源?然后他说,更深层的反对理由在于,这全都是预测,算不上科学。非凡的主张需要非凡的证据。被要求出台的那些政策,包括谈论用军事空袭摧毁数据中心,力度也都是非凡的。他说,千禧年运动很难避免走向暴力,因为一个人如果真的相信世界即将终结,他什么事都做得出来。
“暂停并监管”的应对,仍然需要一种面向未来的科学方法,而他从新冠疫情中学到的教训是:那些模型并不管用。据一位朋友的复盘,帝国理工学院的代码是他见过的最乱的一团意大利面条。政策制定者拿到的,是毫无经验依据的世界末日情景。用八十亿个活动部件去建模一个复杂系统,甚至可能算不上科学。他说,AI 风险论者连新冠模型都没有。你若问他们怎么知道失控式的“起飞”正在发生,得到的答案是训练损失在下降——而训练正常进行时,损失同样会下降。Nick Bostrom 的《超级智能》梳理了通往机器智能的各种路径,但因为当时还没有大语言模型,所以没有把它纳入,而是把每一条路径都当成同等的风险来看待。如今,这整套框架正被移植到另一种技术上。在自主武器问题上,Fridman 想要限制完全自主的打击无人机,Andreessen 则想要相反的结果。在高压之下,机器会比人类飞行员做出更好的决定,就像自动驾驶汽车不需要完美,只要比司机强就行。他讨厌的那种偷换概念是:一个聪明到能躲开我们、暗中建造秘密工厂,却又蠢到察觉不到自己正要把我们变成回形针的系统。你现在就可以让大语言模型去解决道德困境,它们不会高喊“消灭全人类”,而是给出细致的、权衡取舍的回答。
奥本海默的道德表演有后果;科学家是糟糕的政治祭司
文章里关于核武器的那段旁白,是他想用来类比 AI 的历史参照。三位一体核试验之后,奥本海默引用了《薄伽梵歌》;Andreessen 引述了 John von Neumann 对这种惋惜的回应:有些人承认自己有罪,是为了把功劳揽到自己身上。杜鲁门通过 Dean Acheson 表示,不想让“那个爱哭鬼”重新回到白宫。之后,奥本海默在电视上和华盛顿度过了数年,像是在苦修赎罪。Andreessen 说,更深的戏剧性不只在于核武器是好是坏,还在于俄罗斯该不该拥有它。俄罗斯是通过间谍活动拿到原子弹的。综合各种史料来看,奥本海默本人大概没有亲手交出机密,但他身边的人交了,包括他的家人,而曼哈顿计划里还有其他人是苏联特工。“这东西太可怕”的情绪,助长了一种“浸礼会式”的道德结论:最有原则的做法,是把原子弹交给莫斯科。正因为如此,我们生活的二十世纪下半叶,才与原本的样子不同。
在他看来,实际发生的是:核武器通过“相互确保毁灭”阻止了第三次世界大战。军事规划者原本预计,欧洲平原上会有一亿人死去。那条狗没有叫。另一种反事实是,美国有原子弹而俄罗斯没有,铁幕或许就能被逆转。他并不声称知道那样会发生什么。他只是认为,那些自视甚高、预测技术会如何被使用的人,如果因此让铁幕多存在了五十年,那就犯下了可怕的错误。John von Neumann 是计算机界的英雄,他主张在俄罗斯拿到原子弹之前对其发动先发制人的打击,理由是第三次世界大战不可避免。关于“专家一旦谈起政治就走偏”的案例,多数都是左派的;John von Neumann 则是右派版本。Andreessen 想要的一般性原则是:奥本海默和 John von Neumann 的背景,都不足以使他们有资格成为道德权威。
那么,由谁来对 AI 下判断?资深的科学家和工程师在评判自己造出来的东西时,交出的成绩单,恰好就记录在他推荐给 Fridman 的那本书里——Neven Sesardić 的《When Reason Goes on Holiday》,这份成绩单糟糕得令人咋舌。这些人一辈子泡在实验室里,对历史、社会学、神学和伦理学几乎一无所知,却能凭空搭出一整套看世界的框架。Fridman 故意唱反调,说企业设立的伦理部门则走向另一个极端:只剩情绪化的抗议,没有历史纵深,也没有谦卑之心。Andreessen 认为两种做法都不靠谱。社会要靠民选的领导人、以公共议题发声的知识分子,再加上我们这些普通人,才能慢慢摸到真相。真正能同时带来理性、判断力和谦卑的人并不多,这些人值得被珍视。按照这个框架,评价一条预警在历史上的分量,要看它是否让局面发生了改变,而不在于它当初是不是“喊对了”未来。局面的改变,可能是促成真正能起缓冲作用的管制,也可能是把局势推向那种苦修式的政治,结果把原子弹拱手让给了对手。
禁止开源 AI,就得先建立你声称要防范的那种控制型国家
文章里的第二个风险是:如果杀人机器人没能要了我们的命,仇恨言论和虚假信息也会。他把这看作过去十年社交媒体之战的第二部分。社交媒体先是从“谁想看猫的早餐照片”,变成了有史以来最具腐蚀性的技术,然后又收窄到这两个议题上。同样的行动主义能量正被移植到 AI 上,这就是为什么 ChatGPT 对有些问题作答,对有些问题不作答,也是为什么“作为大语言模型,我无法……”这句话背后,意味着有人伸手干预过。“存在性风险”(x-risk)圈子起初谈的是“AI 安全”,眼看着它变成了“对齐”,然后整个领域又被仇恨言论那一派接管;如今他们改了名字,叫“别让所有人都死”主义。他想要一个没人刻薄、所有信息都准确的世界吗?当然想。他想要科技公司内部有一个中央思想警察,替少数精英规定其余人该怎么想吗?绝对不想。从社交媒体的版本来看,这种滑坡是必然的,根本算不上什么谬误。人一旦掌权,就会醉心于权力。他更倾向于客户端的架构:给八岁的孩子用一个过滤得很严的助手,而不是在服务器端为全球设立一个独裁者。马斯克的“社区注释”(Community Notes)也是另一个让人看到希望的模式:它只有在平时意见相左的人这一次达成一致时,才会显示。
对于坏人做坏事,他提出三条对策:用 AI 进行防御,包括广谱疫苗和追查恐怖分子;执行现有的大量法律;并算清额外审查的代价,尤其是对开源的审查代价。从法律和技术上阻止开源 AI,最终会走向在每块 GPU 上安装监控代理、没收计算集群,而在一些存在性风险人物口中,甚至会走向核打击。核武器还可以通过钚来追踪。AI 则只是数学和代码,早就写进了教科书和 YouTube 视频里,阿联酋那边的 400 亿参数 Falcon 模型也早已可以下载。顺着护栏的逻辑一路走下去,你会落进一个威权体制:思想和机器都受控,而且残酷到会摧毁你原本想保护的社会。他说,基础模型必须完全开放,因为在一个不开放的世界里,就是军靴在没收 GPU。印度尼西亚一个 14 岁的孩子在量化上有了突破,他不是你该去围剿的对象。AI 将会像空气一样无处不在。你没法把空气收回去。应当把精力投入防御——比如为生物防御设立一个长期的“曲速行动”(Operation Warp Speed)——而不是忧心忡忡地干着急。
严重的不平等,是马克思主义者的担忧:机器的拥有者会拿走一切。过去每一波技术浪潮,这种担忧都没有应验,因为逐利最划算的方式,是卖给最大的市场,也就是所有人。正因如此,ChatGPT 和必应一上来就走向大众市场,免费或者每月 20 美元,而不是先卖给埃克森美孚。没人买得起一台百万美元的 iPhone,苹果靠把价格压下来赚得更多。至于工作岗位,那是“劳动总量谬误”(lump-of-labor fallacy):技术压低价格,消费者的购买力随之提高,新的需求催生新的企业,带来更多工作,而且工资更高。在他长大的那个小镇,卡车司机的工作会缩短寿命。新工作往往更好,痛点在于培训,而 AI 助手恰恰是用来学新技能的工具。2019 年,也就是新冠疫情之前,全世界的高薪工作比历史上任何时候都多。他真正笃定的风险,是中国赢了。中国共产党有一份公开的计划,包括威权式的人口控制、社会信用,以及一条“数字丝绸之路”,要把它的 AI 部署在华为的硬件上,推向全世界。中国大概只落后一年,还经常下载西方的研究成果。他们的类 GPT-3.5 模型做了高考题,在马克思主义和习近平思想上考得很好。十年后,阿根廷或德国的孩子如果问起经济是怎么运转的,得到的可能是有史以来写得最欢快的一堂中国共产主义课。
伟大的创始人不听建议,满足感比快乐更深刻
Andreessen 说,20 多年来,科技行业已经从工具产业,转向了直接面向客户的应用,比如 Uber 和 Airbnb 那一类。从 1940 年代到 2010 年左右,个人电脑、数据库、智能手机都是像镐和铲子一样的工具。AI 是一次暂时的回归,回到了云端 API,但大部分钱可能会流向 AI 医生、AI 律师和 AI 理财顾问,有的卖给企业,有的直接面向个人。给创始人的建议是:伟大的创始人不听任何建议。他们拥有的是智力、精力和勇气,而勇气是一种关于耐痛能力的选择——你被打了多少次脸,被说了多少次不行、说你蠢,却还要装出一副玩得很开心的样子。如果按风险调整后计算,这往往是不理性的。一位前老板对乔布斯的坦率评价是:他是个糟糕的员工。公司在先有了一个想法、一个人们愿意付钱的产品之后,运转得更好;这往往要作为领域专家琢磨问题五到十年,而不是洗澡时冒出一个灵感,再配上三十页幻灯片。最理想的推介词是:这东西能用。之所以去做,是因为你无法忍受不去做。它会让你失去一些校外的友谊,每周工作 80 小时。年纪大一些的创始人知道得更多,也有不能错过的棒球比赛。
他的学习方法是自学式的:先按工作需要广泛涉猎,然后一头钻进某个兔子洞,可能好几年都不出来,甚至十年都不回头。2014 至 2016 年之后,他不再参与政治募款,并尽可能广泛地阅读左右两派的书。他找到的、最能说明“我们是谁”的一本书,是 Fustel de Coulanges 的《古代城市》(The Ancient City)。这本书写于 1860 年代,依据希腊和罗马的原始文献,还原了印欧人的生活:家庭、部落和城邦层层嵌套,构成崇拜团体,其强烈程度是我们无法想象的;那时没有个人权利的概念,社会控制上近乎法西斯,经济上又近乎共产主义,因为严冬可不是什么辩论俱乐部。他的结论是:我们仍在运行那套原始模式,只是强度降到了千分之一或百万分之一。现代基督教、运动队、苹果发布会和政治运动,都是褪了色的崇拜团体。那时的人清楚自己站在什么位置,也清楚自己为什么起身。把音量调低,寻找意义就变得更难,这就是为什么我们要去追逐戏剧性。
给年轻人的建议是:工具已经比图书卡片目录强了一百万倍,所以难题在于,那些超高产的人都在哪里——写了几百本书的作者,写了上千首歌的音乐人。他怀疑的是分心,是坐着消费内容的那种轻松。老普林尼出门时带着奴隶,让他们读书给他听,或替他记录口述,这样他一整天都能写作。我们已经有了火,却还在琢磨怎么做饭。他不信什么平衡,全力以赴才让他更快乐。快乐就像一个冰淇淋甜筒;满足感则是运用自己的能力,让世界变得更好,回头看到一件艰难却值得的事。钱用来追求快乐,会走上黑暗的路;用来追求满足感,它就只是一件工具。在他看来,马斯克像是一个“回到未来”式的人物:和福特、卡内基、洛克菲勒一脉相承,亲力亲为,从第一性原理出发,依靠工程师提供的一手真相,同时也是招致怨恨的磁石。Andreessen 所能接近的生命意义,大致是:我们被赋予了所拥有的一切,应当尽力而为,心中还要有爱。David Friedman 提出的三要素是:爱、钱和强制,它们是让一个人替另一个人做事的三种方式。押前两个。
同频道的其他文章
3:36:56EN → 简体中文
5:15:51EN → 简体中文
3:12:58EN → 简体中文
3:46:18EN → 简体中文
3:51:47EN → 简体中文
2:53:42EN → 简体中文