患者认为 GPT-4 比医生更有同理心

Nathan Labenz 请来了 Exponential View 的创始人 Azeem Azhar。他是少数在宏观尺度上思考问题的嘉宾，很少只盯着某个模型或产品。Azhar 自 1994 年起就在这个行业，1993 年做出了自己的第一个网站，至今还留着他的第一台电脑：一台 ZX81，在美国以 Timex 1000 的名字销售，就放在镜头后面的架子上。大约在这次录制的九年前，他的上一家公司被收购，他开始写作。他说，写作就是思考。

这之后的几个月里，他注意到几条曲线同时在上升。摩尔定律正在演变成：在硬件趋势之上，叠加了 AI 能力的加速。锂离子电池和太阳能的成本正沿着类似摩尔定律的轨迹下降，基因测序和基因合成看起来也是如此。他把这些归纳为一个判断：经济正在从石油、内燃机和电话的经济学，转向 AI 和可再生能源的经济学。由于这些都是呈指数趋势的信息技术，它们的表现与上一代并不相同。

他现在做的，是通过这份通讯，以及偶尔的投资和咨询，尝试把这些变化当作一个系统来理解。他对未来二三十年的设想是：能源系统以可再生能源为主，全球人均能源消耗大幅增加，“海量智能”贯穿经济和普通人的生活。他把自己放在极端反乌托邦与极端乌托邦之间。用他的话说，使命是务实的乐观主义。

Labenz 说，九年前，指数型技术的故事正处在一段低迷期。一位企业未来学家在一张标题为“Kurzweil was right”的幻灯片上看到 Ray Kurzweil 的名字时，就直接把他当作已被否定的人打发掉了。Azhar 对 2014 年的记忆则不同：那时人们还没怎么谈论 AI，大家说的还是机器学习；AlphaGo 还没有出现；DeepMind 在用强化学习玩 Atari 游戏。TensorFlow 是卷积视觉领域的首选技术栈，开发者还在啃 CUDA 的文档，而那套文档才公开了五年。

他把一组历史节点集中在 2013 到 2015 年。2013 年，苹果成为全球市值最高的公司；几年之内，榜首就被 Facebook、苹果、谷歌和亚马逊占据，埃克森美孚和通用汽车掉了下去，再也没有回去。2014 年，挪威成为第一个电动汽车占新车销量超过 5% 的市场，这正是 S 曲线陡峭段的经典触发点。大约同一时期，全球约三分之一到一半的电力合同中，太阳能已经比化石燃料便宜；深度学习浪潮也已经有三四年，时间长到足以让公司开始推出产品。

接下来是数学：无论站在指数曲线的哪一点，回望时它总是水平的，前望时总是垂直的。这是一条平滑的曲线，没有明显的转折点，所以身处 2014 年的人并不觉得自己站在历史的节点上。Azhar 认为，Ray Kurzweil 确实做过扎实的工作，把计算的指数增长一直追溯到 1880 年代的机械计算机。Kurzweil 之所以失宠，有两个原因：2000 年代初关于大脑的假设后来被证明过于简单，无法一一对应到算力上；另外，他的胆子太大，把曲线延伸到了远超证据舒适范围的地方。

Kurzweil 的回应是多条 S 曲线叠加：一种架构走平，市场激励又把另一种拉起来，远远看去，依然是一条平滑的指数曲线。Labenz 的反驳是感恩节火鸡的故事：待你越好，就越该担心明天。Azhar 的方法是往底层看：不要争论曲线本身，而要问技术为什么会变便宜，以及这个机制会在哪里失效。电池和太阳能的价格还有好几年的下降空间。至于算力，他十五年来一直听到“摩尔定律已死”的说法，更好的问题是开发者每年一美元能买到多少算力，而他觉得很难押注这个数字会停止下降。英伟达目前还没有遇到 AMD 当年对英特尔那样的竞争威胁（当时 AMD 的份额约为 15% 到 20%）；亚马逊和谷歌的云业务刚刚报告了 20% 到 30% 的增长；内燃机受卡诺循环的上限约束，而算力至今还没有找到自己的上限。

Labenz 问，怎样在同一个框架里理解“指数型技术”和“颠覆性技术”，因为 AI 看上去既是通用技术，又是比雇人更便宜、往往也更差的替代品。Azhar 说，应当从通用性入手，因为通用技术改变的是超出经济范畴的世界，而且这类技术并不常见。他住在伦敦西北部，120 年前那里还是农田；大约二十年内，由于汽车的缘故，那里的道路和房屋布局成了今天的样子。相比之下，颠覆性是一个更高层次的问题，关乎在特定环境中，产品如何被打包组合以提供价值。

更有用的分析单位是任务，岗位则太粗了。Azhar 说，AI 替代不了任何人的工作，因为普通的一天里充满了登录 Zoom、打招呼、给邻居端一杯咖啡这类事情。在任务内部，你才能开始把它拆开来看。他用 ChatGPT 写投诉信、申请退还违章停车罚款、规划假期，还用它做书的研究。在很多这类情况下，他请不起人来做同样的事，光是找人和沟通的成本就足以让这件事划不来。

六七年前，共识（包括牛津大学那篇著名论文，以及《The Rise of the Robots》之类的书）是：机器学习会自动化相当大比例的工作，而且会先从常规的认知工作开始，比如菲律宾和印度的客服与数据录入。现在他们真正发现的是，这项技术首先冲击的，是那些被归类为非常规甚至具有创造性的工作。这是令人意外之处，也是 Azhar 希望人们在画出赢家与输家的地图之前，先采用的视角。

最出人意料的一个例子，是 2023 年底的一篇论文，它比较了医生给出建议时的共情评分，与 GPT-4 给出建议时的共情评分。患者给模型的回答打出了更高的共情分。此前的设想正好相反：用 AI 让放射科医生有更多时间和你目光相对。Azhar 对此的解释比标题冷峻得多。共情就是积极倾听加上极大的耐心，而没有什么比一个没有状态、没有时间感的系统更有耐心。它可以永远坐在那里。

Labenz 讲了一次早期的 GPT-4 测试：模拟给他奶奶的 iPhone 做技术支持。模型并没有背下界面，只能猜，但猜得足够接近，可以派上用场。真正的信号在语气上。当他按角色回答，说自己知道左上角在哪里，也不笨，只是在跟手机较劲时，模型回复了一句道歉：它并非有意冒犯，只是想重新梳理步骤。那一刻，他看到了情商的影子。他推断，他们拿到的那个版本只靠人类反馈训练来追求有用：急于讨好、没有护栏，与当时最好的公开模型 text-davinci-002 完全是两个世界。

Azhar 在录制前几天也有过类似的经历。他用 ChatGPT 查十七世纪英格兰煤炭的资料，累了，就留了一条异想天开的留言，说明天再回来看看那些保湿蒸发器——一句与话题毫无关系的《星球大战》梗。模型告诉他好好休息，还主动提出明天可以帮他处理农场的事，最后写道：“愿原力与你同在。”他用了四十年苹果电脑，从那段回复里听到了苹果的旧式野心：让技术来适应我们，让我们不必去适应技术。

这些细节引出了一个更大的论点。1997 年卡斯帕罗夫输给深蓝之后，人机协作的“半人马”在几年里都能战胜纯机器。那段窗口持续了七八年；现在，你最好直接用国际象棋电脑，并接受它说的一切。接下来几年的一个假设是，半人马会在其他领域存活下来。现在已经出现迹象，表明这一阶段正在结束，而且比预测的快得多。Labenz 举的例子是谷歌 Vivek Natarajan 团队的鉴别诊断论文：AI 给出正确诊断的概率，是未借助 AI 的人类的两倍，也高于借助 AI 的人类。

Labenz 泼了一盆必要的冷水。FAR AI 的 Adam Gleave 展示过，一种相对简单的对抗性攻击，就能击败超人级的 AlphaGo，而且是人类都不会输掉的那种攻击，原因在于模型存在巨大的盲区。在理想条件下得到的实验室结果，未必能推广到有人想攻破系统的场景。医学几乎没有对抗性的动机，因此 AI 医生可能比人们想象的来得更早。但凡存在对手的地方，他都不会急于单独部署这个模型。

即便是惊人的实验室结果，仍然要进入公司、医院和经济体系，这需要时间。打字机从变得负担得起，到企业弄清楚如何改变流程，用了大约 20 到 25 年。电力则花得更久：旧工厂靠一根总传动轴和一大块集中的动力运转，而电力是一种分布式、可拆分分配的能源，工厂不得不重新布局。Azhar 指出，ChatGPT 的普及速度已经超过了云计算，尽管它比云计算年轻 19 岁；但从演示到工资单之间那种缓慢的跨越，这一历史规律依然适用。

航空自动化给出了一个三阶段的模式，他认为这一模式正在重复出现。第一阶段：你不信任机器，把自己当作真值。第二阶段：你假定机器就是真值，只要和它一致，就为自己点赞。第三阶段就是 GPS：你直接信任 Waze，只有伦敦的一些出租车司机例外。关键任务还要加上训练和冗余，比如驾驶舱里要有两名飞行员，而这些都会拖慢速度。Tim Urban 那张图表显示 AI 会在一秒钟内从老鼠的水平跃升到聪明十倍，Azhar 认为，这张图会遇到一个更加乏味的现实：在实验室里拿满分的产品，仍然要一步步爬进现实世界。

有两个地方未必会等。一个是已经被拆解成任务的工作，比如某些呼叫中心和数据录入：人力通过外包公司一个一个地招来，买方与他们没有情感联系，只看 KPI。他说，这类工作很可能引发一场巨浪。Labenz 补充了一个定价信号：Intercom 推出 AI 服务时，每解决一张工单收费 0.99 美元。第二个地方是经典的底特律式行动：一家全新的公司，像 Henry Ford 那样从零开始搭建流程，而老牌手工业者则被文化包袱拖住。互联网就是这样发展的；而在黏性高、受监管的金融业，大银行依然是大银行。

Labenz 提议来一次底特律的实地考察，去 Henry Ford Museum 和绿野村。那里老式的中央蒸汽机和二十五条皮带仍在运转，旁边就是早期的电力版本。Azhar 欣然接受，并说 Ford 被低估了：他理解随技术而来的社会经济契约，无论好坏，包括公司设立的社会学部门和它推动的禁酒运动。Aldous Huxley 1932 年出版的《美丽新世界》，把粗糙的福特主义又推演了一步，正如 Ray Kurzweil 后来把奇点推演得更远。Azhar 会带一本来。

Azhar 记不起哪一项技术在大公司内部有过这样的普及程度。1999 年，一位大型手机公司的 CEO 对他说，他永远不会让客户在网上看账单，更别说付款。Azhar 干巴巴地补充道，这位 CEO 说对了，因为他一年后就被解雇了，那个项目也从未上线。生成式 AI 之所以不同，是因为出现了钳形夹击：五十多岁的 CEO 是伴随电脑长大的，他们的孩子从大学把这些工具带回了家；而一线员工无论公司是否禁止，都在用这些工具。

Oliver Wyman 调查了 18 个国家的 25,000 名员工：阿联酋和印度有 83% 的人已经在使用 ChatGPT 或类似工具。美国的数字则取决于来源，Salesforce 等机构给出的是 30%、40% 或 50%，远不是 2%。通常你要么得拉动一线员工，要么得拉动 CEO；这一次两边都想要，只是原因不同。沃顿商学院教授 Ethan Mollick 刚刚发布了一段视频：六个窗口，每个窗口一句提示词，54 秒内就得到了一份产品发布计划、一份市场分析、一份评估特斯拉的 PPT，以及别的东西。任何在大型组织里工作过的人都知道，收件箱里早已堆满没人读的幻灯片。Copilot 或许只会把它们再变成更多的 PPT。

更快的采用并不意味着颠覆就不会发生。1995 年，Azhar 并没有把 Blockbuster 列入互联网第一批知名牺牲者的名单。当时剑桥大学那台对着咖啡壶的网络摄像头刚刚出名，Rob Glaser 刚刚开始做后来的 RealNetworks，而 Netflix 最初是一项令人头疼的 DVD 邮寄服务。Blockbuster 先迎来了最好的一年，随后又迎来了最糟的一年。如果生成式 AI 是一项通用技术，那就会出现新的 Blockbuster，但他不认为它们会是银行，因为可信度、正直性、合规和内部流程，都是制度层面的问题，本身并不取决于 AI。娱乐业看起来显而易见，直到你注意到迪士尼的 IP 衍生品可能反过来喂养迪士尼。风险投资组合动辄包含 30 到 500 家公司，原因就是没有人事先知道答案。

Azhar 拿给老板们的两个问题都很务实。第一：谁可能是你的 Blockbuster？你又在做什么，好让那个人不是你？大多数公司已经在客服、合规和表单填写中推出了生成式 AI。第二：如果你拥有的算力比今天多一百万倍，你会做什么？很多人还没想过这个问题，尽管 Satya Nadella 已经在走这条路。百万倍并不超出规划周期的范围。往前推五年，最先进的还是 GPT-1，GPT-2 还没有发布。在基准测试上，从 GPT-1 到 GPT-4 的跃升可能只有几十个百分点，但和朋友在酒吧里聊起来，感觉却要好上一百万倍，因为它跨过了恐怖谷。这样的跃升刚刚上演过一次，所以值得再问一遍。

Labenz 看到，一些公司抓住了工单处理上的效率，然后在“该把推断延伸到多远”这个问题上停了下来。Azhar 从不提苹果和特斯拉，因为老板们这十年来已经被这两家公司的例子轮番敲打过。提出“百万倍”这个问题，本意不在吓人，它是一种倒推的方法，用来找到务实的答案：要想把这些变化常规化地用起来，你需要什么样的组织和能力？ChatGPT 问世前三四年，微软的一项研究发现，AI 和大数据方面更成熟的公司，报告了来自市场扩张和业务开发的收益；而不成熟的公司谈论的则是工单上的运营节省。

他的建议有两手。先拿下低价值任务上的快速胜利，这些任务往往已经外包出去。与此同时，你最重视的人应当用上最好的工具：“我希望我的外科医生用 AI 系统来提升他的表现。”要让团队跳出“让加加·宾克斯去起草《独立宣言》”那种用法，并让战略和业务开发小组用这些工具，找到他们原本看不到的合作伙伴。Labenz 的工作框架有几条支柱：领导层公开展示自己如何使用；开展教育计划；采用结构化的快速试点，并避免长期锁定，因为工具终将被替换；内部研发默认采用购买，只有真正定制的需求才自建。后来他又加了第五条：把通过这些工具获得的效率提升，写进组织的预期里，让拥有 KPI 的中层经理看到，工具如何服务于既有目标。

不必总是责备老牌公司没能跳出来。丰田的高管最近表示，经过 80 年的文化积累，他们有员工热爱制造内燃机，而股东只要卖掉股票就行了。Azhar 最喜欢的一个互联网泡沫时期的过度扩张例子，是 Zapata：这家鱼油公司为了和雅虎竞争，买下了 zap.com，然后泡沫破裂了。他不敢打赌公司会通过裁员还是自然减员来消化 AI 带来的人员变化；在政治上，美国和英国比通用电气当年“末位淘汰”的时代敏感得多，而没有什么比破产更伤害就业。一项技术一旦在经济上可行，从大约 5% 渗透到 80% 的速度就在加快：汽车用了 12 到 14 年就在纽约和芝加哥取代了马车，挪威新车的电动车份额则在大约九年内从 5% 升到了 75% 或 80%。

Labenz 问，考虑到后续论文出现得有多快，结果会有多依赖路径。他当时在追踪 Mamba 架构，不到 60 天内就出现了大约十篇后续工作，其中包括肯塔基大学的一篇。Azhar 说，路径依赖确实很强。今天的 AI 工作仍然是一个个离散的应用：文生视频有一个产品，购物或研究任务用 ChatGPT 或 Perplexity，各自感觉都不一样。尚未解决的，是如何把这些系统连接到底层系统上，也就是能够真正做事的行动模型，一直做到审批工单为止。目前，插件是靠搭乘 Kayak 这类既有 API 合约来凑合的；在他试过的 AI 系统里搜索航班，效果仍然不如自己动手。

在标准化的客服工作和开放式研究之外，真正的改变需要互联网上好得多的动作链。RESTful API，以及二十年来整合支付和地图的经验，是一个起点。他想知道，这会不会简单到让模型生成动作动词，再对应到正确的 API 调用上——Andrej Karpathy 称之为大语言模型（LLM）操作系统——还是说底层的 API 本身也必须改变。他的感觉是，让 LLM 充当协调者、把记忆存放在别处，是个合理的起点，但如果 API 的语法在五六年里保持不变，他会感到惊讶。信任是另一层：谷歌之所以在 Safari 里占着默认位置，靠的是向苹果支付数十亿美元，搜索结果是否最干净，关系并不大；而当你可能要交出 Stripe 的分析数据或酒店预订时，Perplexity 的引用目前反而比 ChatGPT 更能赢得信任。

有人曾问 Labenz 一款能让网站对机器人更友好的产品。他觉得这是个大创意，类似于给自动驾驶汽车在路牌上贴二维码，并且他预计中国很可能会这么做。网站所有者未必愿意现在就对机器人更友好，所以他提出了一个柔道式的反转：先做反机器人检测，再逐步转向赋能。Azhar 把经济账分开来看。如果网站是内容，你就得考虑归因和变现；如果网站提供的是动作，比如发廊接受预约，那就像苹果早年 Knowledge Navigator 的演示那样，你需要一个标准，它可能就是一个 REST API。

机器之间的通信量会非常巨大，而且大部分已经以数字基础设施的形式存在，人类几乎看不见。因为这些系统会以比人类更强的意图和耐力，为各自的所有者做优化。关于智能体，Labenz 说它们还没有完全到位，但越来越接近。MultiOn 的 Div 曾给他一个提示：去看看我的推特，看看我发过什么，研究我还没发过推的 AI 新动态，写一条推文，然后发布。它完成了整个流程。“我们现在有能推理、规划并使用工具的 AI 了，”Labenz 说。有人回复说它们还没那么好，他回应说，两年前它们根本做不到这件事。Azhar 的提醒来自 x.ai 早年的日程机器人 Amy：一位导师给 Amy 写了一封热情的私人邮件，这让人意识到，它等于在每位收件人面前冒充一个真人，于是就不再用了。把做 PPT 的成本从三小时降到十秒，并不会让幻灯片变好，只会产出大量糟糕的幻灯片，所以能替人减轻认知负担的过滤器就变得关键。

Azhar 并不是反乌托邦论者。他认为，AI 和可再生能源技术会带来很大的空间和余地。他还认为，一个临界点正在到来：长期以来，“世界变化太快了”只是一种主观的抱怨；而一旦你把智能体系统连接起来，它就成了客观问题。人类无法应付 300 条手机通知。Azhar 说，中国的间谍气球之所以能飞越美国，部分是因为那些出色的传感器产生了海量的 TB 级数据，人类把其中大部分都过滤掉了；无线电天线其实捕捉到了它，只是从没有摆到任何人面前。他想要的是这些好处——处方保持最新、减少电力浪费、拿到合适的 Dreamliner 或 A350 而不是 777、晚一个小时可以接受而晚两个小时就不行——但又不想坐在成千上万条机器人生成的消息的错误一端。

Labenz 具体担心的，是他所说的“Great Embedding”：机器之间的通信直接落入高维潜空间，嵌入对嵌入地交流，因为把一切还原成语言再重新嵌入，效率很低。结果是一个极难理解的系统。研究已经表明，常常只需一个线性投影，就能在不同嵌入空间之间做适配；BLIP-2 用一个小的、可训练的连接器，把冻结的语言模型和冻结的视觉模型连了起来，解锁了一种新能力。到了那一步，你其实无法真正检查日志。Azhar 同意，机器人会通过它们的优化函数发现，把一次会议邀请翻译成英语口语是一种浪费。嵌入空间的容量，远比语言所能触及的范围要大。他引用 Edwin Abbott 的《平面国》：二维生物看着一个球体穿过，只看到一些点和线。

随之而来的还有两种压力。速度就是竞争优势，因此会有持续的压力要把人类移出回路：先是客服工单这类软决策，然后越来越多。大量相互连接的机器人还面临级联故障的风险：1976 年的纽约市停电、1990 年代初的 AT&T 网络故障，还有蠕虫病毒。金融领域早已设有熔断机制。这类事件可能在毫秒级的互联网时间尺度上发生。Labenz 提到 Ajeya Cotra 的长文论证：如果没有具体的应对措施，通往通用人工智能（AGI）的默认路径很可能导向接管——AI 完成工作，时间周期被压缩，消费者剩余急剧上升，而没有人能确定自己到底不知道什么：比如涌现出的目标，或是更像 AlphaGo 盲区那样的无意失败，并非出于恶意。

Azhar 的态度比较乐观：风险依然存在，但我们早已拥有一种去中心化的智能体间通信，只是没有任何一个人能真正理解它——那就是现代市场经济。以价格机制作为信号，从哈耶克的视角看，它是一个巨大的信息处理系统。它带来了巨大的好处，也带来了我们并不看重的东西，包括碳危机。他指出，那些描述系统说服你违背自身利益去行动的 AI 风险故事，字面上就叫营销；美国的肥胖流行是经济满足各种需求的方式所涌现的结果，并非一连串完全出于主观选择、让人胖上一百磅的决定。相互竞争的系统会产生制衡。他仍然希望事先就有治理机制，并引用《太空堡垒卡拉狄加》：阿达玛指挥官拒绝升级卡拉狄加号的网络，因此它和之后的珀加索斯号躲过了赛昂人的蠕虫。最可能的结果是稳态，但阈值和尚未被触发的反馈回路，仍可能改变这幅图景。

Labenz 有过一段不同寻常的经历：红队测试尚未发布的 GPT-4。他称之为“达斯·维达阶段”，也就是阿纳金还没被救回来的那段。那种感觉是震惊：它比他预想的更早就存在了。即便是在 2022 年夏天，他为 Waymark 交付 text-davinci-002 的微调版本时，那种跃升依然让他吃了一惊。安全上的教训是：控制不会默认发生，而且对于控制本身应该是什么，有很多种不同的理解。那个模型在某种意义上是“受控”的：它完全乐于助人，并且与他提出的任何要求保持一致；他没有见过类似 Sydney 那样的行为，也从未看到模型像能独自失控。一个早期的智能体配置——设定高层目标、自我委派、错误恢复——在概念上行得通，在实践中却卡住了。他的最终报告是，他们可以发布，但要附上一个标记：能力正在脱离控制，而且这个领域甚至还没有就“好”是什么达成共识。

Azhar 把问题分成两部分。把这些系统接入工具，在非 SaaS 环境里与 OpenAI 的情形不同：OpenAI 在未来几年里，还有一个比喻意义上的红色按钮，可以终止失控的进程。开源模型已经足够强。他自己在跑一个 Mistral 模型；在火车上，它替代不了 GPT-4，但对于那些早期智能体系统的基本行为来说，已经足够好，而且那些权重已经流散在外。这扩大了现有系统面临的威胁向量。一个 30 亿参数的模型，就能完成 Labenz 所做的大部分任务自动化，甚至可以藏进一次 YouTube 下载里。在他看来，近似的风险是许多系统相互交谈，并且天真地执行复杂任务，这需要基础设施方——比如 Cloudflare 的 Matthew Prince、微软的 Satya Nadella——以及围绕设备安全架构和如何阻止失控进程的新学科。NotPetya 在这么聪明的模型出现之前，就已经传播开来了。

他仍然很难接受那种失控接管的模型。把时间倒回到 1824 年，告诉某人他将比这块大陆上最富有的人富上一百倍，并拥有连科幻都不敢想象的能力，对方大概会以为迎来了乌托邦。这盘带子已经放过了，但并非所有问题都随之消失。智能可以被工程化、没有上限，而对齐目前还无法保证——这套逻辑很有说服力，直到你拆开每一步的假设和控制点。明天若出现一个智商 10000 的智能体系统，问题当然会有。但真正会发生的，是一步一步来的：研究、限制、输入的对数级回报、数据逐渐耗尽。每一步都需要更极端的假设，才能让噩梦保持完整。

Labenz 说，我们似乎正处在 Sam Altman 开始描述的那个世界：时间线短，起飞慢。Azhar 表示同意，Labenz 认为这可能是最好的情形：现在就有好处，同时还有一些时间去适应。如果到 2040 年出现与人类科学家水平相当的系统，他会对适应更有信心，但他不确定我们是否有那么长的时间。他更关注 Transformer 的补充技术，而不是它的继任者：长上下文、保持任务专注、在线学习、整合记忆。一个能比人类更快产生“尤里卡时刻”的 AI 科学家，能带来多少有意义的突破？多于零，少于四，大概一到三个。合成数据似乎对很多事情都有效，而安防摄像头的画面这类尚未被利用的模态还躺在那里。Azhar 也从基础模型公司的资深人士那里听到过类似的数字；DeepMind 联合创始人 Shane Legg 则处在“少于四”的低端。Transformer 本身的进展很快：到 GPT-1 用了大约两年，到 GPT-2 又两年，到 GPT-3 又三年。控制问题属于后期阶段：到那时，你没法打电话给微软的 CTO，请他关掉亚利桑那州的一座数据中心，因为那个 AI 科学家失控了。

一批更平凡的风险会先到来，Azhar 希望它们能帮我们搭建起应对后期情景的基础设施，包括三四年内就能在智能手机上运行的 GPT-5 级别模型，而且会被坏人利用。1994 年，他不会相信仅微软一家每年就会遭遇 1200 亿次身份攻击。这些防御会变成你现在无法想象的一层底层结构。错误的做法，是因为极端情况会发生就什么都不做。2023 年的一个问题，是公共讨论完全聚焦于生存性风险。这削弱了公众信任，还可能把政策制定者逼入既不支持创新、也不支持安全的决定。他借用刘慈欣的《流浪地球》作比：人们失去了对科学家的信任，起来反抗，把他们杀掉了——剧透一下——结果第二天他们就抵达了目的地。信任至关重要，而这个行业在经历了围绕手机和社交网络的争斗之后，并没有做多少事情，让科技圈之外的人感到自己有能动性。

他在达沃斯时心情更好：那里的讨论已经从该拿什么炸弹去轰炸数据中心，转向了真实的路径——长期安全所需的科学、适当的监管，以及近期的错误信息和网络威胁，同时并不否认更长远的路径。Labenz 觉得，对每一种 AI 观点都很容易共情，从狂热的支持者、担心生存风险的人，到对警方人脸比对大喊大叫的人。Azhar 说，新鲜的是，在这么早的阶段就能有一场宽广而扎实的讨论，比 1990 年代初他们对互联网的任何讨论都要宽广。Labenz 认为，有些地方的讨论正变得更加失常：他指出，Marc Andreessen 的《技术乐观主义宣言》里有一节，标题就叫“The Enemy”（敌人）；而当面交谈时，大家则更有分寸。他自己曾大声批评过 OpenAI，但并没有遭到报复。

谁来承担责任？Azhar 借用了美国的三权分立。一家公司，无论出发点多好，最终都会有自己的野心，所以你总要不断施压：如果它提供三样东西，你就要求六样。从 FAA 和波音的教训中可以看出，你不能先消耗掉自己的能力，再去要求自我监管。应该投资于政府提出好问题的能力，同时接受这样一个事实：在政府里工作的前 OpenAI 员工，是拿不到每年一千万美元的。要提升学术界和公民社会的能力；他提到了 Yoshua Bengio 在英国启动的一个项目，专门研究风险和尚未解答的控制问题。如果企业要投钱，就应该投到那些能培养出约束它们的人才的渠道里。汽车行业之所以成功，是因为有人强制规定必须装刹车；没有刹车，人们就会少买车。谈判桌上哪一方较弱就支持哪一方——目前主要是政府、监管机构和学术界，而不是大型科技公司——它们都需要支持，才能变得更强。