一篇玩具论文没有证明大语言模型不能泛化，舆论却照样跟着跑

开场就已经是一记警告。一条推文说，看，这证明了大语言模型无法泛化，Nathan Labenz 说这种说法荒唐透顶。他给这条帖子起了个绰号，叫“Transformers 界的海伦”：特洛伊的海伦让千艘战船出航，这条推文则引发了一千场争论。Labenz 说，关于 AI 到底是什么的误导性结论，对于“我们该做什么”的后续讨论，绝不可能有好处。联合主持人 Erik Torenberg 说出了另一种担心：一份听起来很合理的承诺，可能会变成特洛伊木马，先让一个机构赚足声誉，然后拿到决定谁能搞创新的法律权力。

Labenz 为这一小时定下的那句话，是他希望大家记住的。现在或许是动手建造的时候，但绝对不是讲意识形态的时候。《Cognitive Revolution》通常会采访研究人员和开发者，这一周没有嘉宾。Labenz 创办过 AI 视频公司 Waymark，也当过 GPT-4 红队测试员，他对眼前这件事已经憋了大约一周的火。他想把两场网络争论拆开，一条一条地分析，同时在过程中对自己也保持问责。

他前十天都在看 OpenAI 的新发布，并且埋下一个伏笔，留给之后的节目。他原本预计视觉能力会是个大突破，现在看来确实如此，部分原因是它便宜：一美分可以处理十二张图片，外加模型的回应。他认为，这个价格会让监控、视频切片和定期截图变得可行，大量被动采集的数据一下子变得很容易处理。不过这不是今天的主题。今天的主题，是 2023 年末 AI 推特上的两个片段，他认为行业可以做得比它们更好。

在进入批评之前，Labenz 先立下两面旗帜，表明他希望现有的 AI 被更快地采用，而不是更慢。第一面是 Waymo，与瑞士再保险（Swiss Re）合作的一项研究。在 380 万英里（3.8 million miles）的纯乘客模式行驶中，也就是车内没有人类驾驶员，Waymo 驾驶系统的人身伤害理赔为零，而人类驾驶的基线是每百万英里 1.11 起。财产损失理赔降到每百万英里 0.7 起，人类基线则是 3.26 起。在一个规模更大、统计上更稳健的样本里，超过 3500 万英里，且有人类专员在监控自动化系统，人身伤害和财产损失理赔也都远低于人类基线。

他很谨慎地指出，摘要没有解决什么问题。有些自动驾驶系统仍然需要人工接管，而这些数字背后究竟有多少人工介入，也并不完全清楚。即便如此，他还是想明确表态：这听起来太棒了。一个理智的社会应当开始改善环境，让系统更容易运行，比如从他街区里那些遮住停车标志的树开始修剪。在超过 300 万英里的行驶中，人身伤害为零，而按人类基线本应预计超过 3 起。这样的结果，他认为应该推动政策的走向，而不只是影响时间表。

第二面旗帜是医疗。哈佛医学院的一篇预印本，在 934 个《新英格兰医学杂志》中的疑难影像病例和 69 场临床病理会议上评估了 GPT-4V。总体上，该模型的表现超过了人类受访者，在各个难度等级、不同肤色和各类影像上都是如此，只有在放射学方面与人类持平。它能综合图像与文字，但当图像被加到本已信息量很大的文字之上时，表现反而变差。与人类不同，它在图像难题上会借助文字来提高表现，但也会漏掉明显的诊断。作者的结语很谨慎：多模态前景看好，语境是关键，还需要研究人与 AI 的协作。

Labenz 比作者们走得更远。第二意见式的诊断，是你可以审视、并和人类医生一起讨论的东西，这和已经上路的 robotaxi 不一样。从后果出发，他会现在就把它交到人们手里。如果你没有医生，那它显然比没有医生好得多。如果你有医生，第二意见以及随后的讨论，总体上很可能是有益的。它会犯明显的错误，人类医生也会。最糟的情况，是它们犯的错误和人类一模一样。Torenberg 开玩笑说，橄榄枝已经递出去了。然后，他们屏息以待，等着 Labenz 真正想要辩论的那部分。

网上疯传的版本说，Google DeepMind 的研究表明大语言模型无法泛化。论文的实际标题要窄得多：预训练数据的混合方式，会让 Transformer 模型具备狭窄的模型选择能力。作者由 Steve Yadlowsky 领衔，他们谈的是如何筛选训练数据，以获得某些特定的行为。到了公众那里，这个意思翻转成：如果你以某种方式设置预训练，就可能控制模型能做什么、不能做什么；然后又再一次翻转成：大语言模型无法泛化。Labenz 说，第二步跳跃并不成立。

大家都划出来的那句话，本来写得很谨慎，后来却被剥掉了限定。作者在所研究的范围内发现，在上下文学习中，模型能以很低的额外统计代价，在预训练的函数类之间做模型选择，这一点有力的证据是有的；但上下文学习能否泛化到预训练数据之外，证据有限。这里的模型选择，指的是认出你面对的是哪一类问题，并应用对应的规律。这个玩具很小。一类数据是直线上的点：给定一组 XY 数据对和一个新的 X，预测 Y。另一类是正弦曲线，任务相同。这个小模型两类都学会了，而且在运行时能分辨它们。

这个不足就出在叠加上。把一条正弦曲线加到一根直线上，就得到一道缓慢起伏的波。模型在这种组合上失败了。标题里仍然写着：在所研究的范围内，狭窄的模型选择。大家都越过了这个限定。Labenz 说，前沿模型根本不在那场争论里。认真的人没有谁会怀疑，GPT-4 能不能把概念 A 的一点点和概念 B 的一点点混合起来。你让它写一首关于 1990 年代芝加哥公牛队的莎士比亚体诗，这种具体组合几乎不可能出现在训练数据里，它照样能写出来。你甚至不用花每月二十美元订阅 ChatGPT，就能看出：A 栏的一点和 B 栏的一点，已经能奏效。

真正有意思的残留问题是控制，而不是无能。如果你仔细设计数据集，也许就能在一定程度上控制模型能做什么、不能做什么。这并不是“泛化从来不会发生”的普遍规律。关于前沿模型，真正的问题是它们能否推断出领先专家也不知道的东西。论文充其量是说，有策略地把数据排除在训练之外，或许能让模型无法泛化到这些领域。Labenz 认为，把大部分学术病毒学排除在通用训练之外，同时为真正的生物学家保留专门的模型，是近期更靠得住的生物安全思路之一，这项研究也稍稍加强了这一点。这种泛化，和人们硬往一篇三个人写的玩具论文上堆的那个远期末日情景，是性质不同的东西。

已经有人复现过这篇论文。Labenz 提到 Samuel Müller，他在 Colab 笔记本里工作，除了一台小型谷歌云虚拟机，基本没有专门的算力。Müller 公开了代码。据他所知，他照着原始设置做，只改了一处：在训练数据里加了一点噪声。然后模型就能泛化了，它跨过了直线加正弦曲线这一组合的坎。

加噪声是深度学习里最古老的稳健性技巧之一。Labenz 不是研究 2010 年代初的历史学家，但计算机视觉的做法长期以来都是用扰动来训练：改变长宽比的压缩、加入噪声、扭曲、程序化的怪异变换。当系统仍然能提取出信号时，下游性能就会变好，脆弱的过拟合也会缓解。Müller 把这套做法用到了直线和正弦曲线的点上。这没花多长时间，大约两天。那条反驳推文获得了不少点赞，但在 Labenz 看来，它仍然不是 AI 舆论中的光彩时刻。Torenberg 问，Amjad Masad 会怎么回应这份概述。Labenz 说，他更希望请 Masad 来节目当面聊，而不是去揣测他的心理。他试着回应论点，而他在周围的推文里看到的是：大多数人根本没有在提出论点。

Yadlowsky 最初的推文相当平淡：引用了结果，并说谷歌的一篇新论文提供了证据，表明 Transformer、GPT 之类的模型无法泛化到训练数据之外。这句话随后成了所有人转发评论的焦点。作者后来开玩笑说，他们关于上下文学习的论文被断章取义了。Quora 的 Adam D'Angelo 是 OpenAI 的前董事会成员，他说这个狭窄的结果只在许多假设之下才成立，是一块用来测试人们对 AI 看法的罗夏墨迹。让他感到惊讶的是，有多少人似乎在指望进展就此停止。

Labenz 回应了他尊重的人。Naveen Rao 是 Mosaic ML 的创始人，该公司以超过十亿美元的价格退出。他写道，这个信念在存续期间很有意思：火花并不总会燃成火焰。Labenz 听出这是在暗指微软的《Sparks of AGI》。他说，DeepMind 的这个玩具并不能推翻微软研究院关于 GPT-4、GPT-4V 以及 GPT-4 对科学影响的报告，那些报告涵盖材料、生物化学和偏微分方程。它们仍然是关于前沿能力最可靠的公开图景。用一个直线和正弦曲线模型的无关结论去嘲讽它们，算不上分析。

普林斯顿的 Arvind Narayanan 是《AI Snake Oil》一书的作者。他写道，这篇论文甚至与大语言模型无关，却似乎成了戳破集体信念泡沫的最后一根稻草：如果涌现只是解锁了预训练数据中本来就有的能力，那么好日子很快就要到头了。Labenz 承认前半句，但拒绝后面的推论。你不应该根据一个玩具去更新世界观级别的信念，尤其是在加入一点噪声后它就能泛化了。更深的疏漏在于数据的规模。GPT-4 的各种语言已经比历史上任何一个人都说得好，因为这些语言都在训练数据里。那里面还有什么是人类学不到的？如果下一代模型吞下了几万亿个 Token 的基因组或蛋白质组数据，那么在原始 DNA 上的超人工具，他并不会感到意外。AlphaGo 的第 37 手，是人类不会下的一手，却是天才之作。同一周，来自 Med-PaLM 团队的谷歌作者（其中包括之前节目的嘉宾），已经在他们最新的系统里挖出了关于基因相互作用的有用新假设。

英伟达的 Jim Fan 写道，Transformer 不是灵丹妙药，机器学习 101 课程就告诉你，训练时必须覆盖测试分布。这没错，Labenz 说，但这并不意味着意料之外的泛化不可能发生，因为训练数据里包含的东西，比我们已经提取出来的要多。Replit 的 CEO Amjad Masad 写道，他去年就得出了不能泛化的结论，并且有点难过，因为他原本希望相信大语言模型的神秘主义，相信其中真的有些东西。Labenz 认为，当下真正要问的，是意识或道德主体性之外的问题：我们已经拥有的技术，以及未来规模扩大后会拥有的技术，能否学到人们不知道的东西？看看现有的系统吧。语言本身就是一个起点。一个名叫 accelerate harder 的用户则认为，这场围攻让 AI 行政令显得更加愚蠢。Labenz 认为，很多放大声量的行为，其实是在推广一套关于“应该做什么”的议程。用 Julia Galef 的说法，这就是士兵心态（soldier mindset）。他更愿意做一名 AI 侦察员。这些系统更像是外星智能，而不是人类智能。现在或许是动手建造的时候，但绝不是讲意识形态的时候。

第二部分不是一项法案，甚至也不是政策提案。风险投资公司 General Catalyst 的 CEO Hemant Taneja 发帖说，超过 35 家风投机构和 15 家以上的公司，代表着数千亿美元的资本，签署了来自 Responsible Labs 的自愿性负责任 AI 承诺。Responsible Labs 是一家非营利组织，由他共同创办。知名签署方包括 Inflection、软银、Insight Partners、英特尔资本、IVP、Lux Capital 和 Arthur AI。五项承诺分别是：内部治理、适当的透明度与文档记录、风险与收益预测、审计与测试，以及带有持续改进的反馈循环，另外还附有一本最佳实践手册。

Taneja 的论点是，AI 能让世界变得更好，投资人应当从第一天起就为创业公司发声。硅谷谴责了上个月的行政令；在他看来，那道令目前主要还是报告要求，但有可能退化成会拖慢美国企业的规则。正确的路径在于同华盛顿打交道，与民选领导人合作，并且对自己资助的东西负起责任。Labenz 没有签署。他不喜欢宣誓，认为宣誓不利于侦察兵心态。不过，把它当作一份清单来读，它看起来就是常识。审计与测试是其中最重的一项，而即便是这一项，也只是把软件测试搬到了 AI 产品上。在 Waymark，模型负责写视频脚本；最坏的情况是有敌意或种族歧视的内容，与前沿实验室相比，这是一种可控的危害。九个月前，Bing Chat 曾让一名用户和妻子离婚，并登上了《纽约时报》的头版。多花时间做测试，既是利他，也是利己。

反应则是把天要塌下来当成了真的。Balaji Srinivasan 写道，自由的互联网意味着自由的 AI；他喜欢 Taneja 和许多签署者，但他从根本上不同意这种投降的哲学，他们会用一切手段对抗政府对算力的控制。Torenberg 则更充分地站在批评者一边。他担心的是特洛伊木马：先是拿到声誉，然后出现一个有权决定谁能搞创新的机构。社交媒体时代的建造者们既懊悔、又道歉，还很天真，在公信力之争里输给了那些反省得没那么多的机构。Marc Andreessen 的思想实验是：一个 1990 年代的委员会，决定谁能开办网站。Torenberg 说，温和派会输给极端派，因为极端派不会遵守同样的善意规则，还会拿你的规则来对付你。这也是 e/acc 试图与另一极相抗衡的部分原因。

Labenz 的回应有好几层。只有大家都觉得这是一场战争，它才是战争。如果一艘外星飞船降落，你希望人们先弄清楚它是什么、能做什么、会不会伤人，而不是马上分成阵营互相扔石头。美国在 2023 年 11 月出台了一项试水性质的报告要求：训练算力比 GPT-4 大十倍的模型，明年可能会影响五到十家公司，而他们要做的只是告诉政府。这还不算重拳出击。要导致 Taneja 所担心的结局，也就是一个自我激进化、连保护公众的口头表态都做不到的科技行业，最可靠的办法，就是围攻那些发布了最佳实践的同行。几十项调查显示，公众在各党派之间都希望政府对 AI 采取行动。社交媒体是人们在彼此交谈，只是多了一层放大。AI 系统现在能够规划、推理、使用工具，而两年前它们一样都做不到。圈外的人，以及圈内的许多领导者，都不知道接下来会发生什么。“如果你想阻止那种监管，就给我看看没有问题。给我看看你已经把它控制住了。”

Torenberg 喜欢 Taneja 的工作，但他也同情那种批评：“负责任的科技”作为一种哲学，没有充分解释技术为什么是好的。FDA 或 robotaxi 挽救的生命是看不见的；一次看得见的死亡则非常显眼。在他看来，e/acc 是想把奥弗顿之窗（Overton window）推向积极的一面，而一部分敌意其实是关于谁有资格担任发言人。在那群人看来，Taneja 太像欧洲人，太像欧盟，也太像 Mustafa Suleyman：即使自我监管能避免笨拙的法律，他也是错误的发声人。Torenberg 说，更好的办法是自我监管，外加一套有力的论证来反对过度监管，借助社交媒体、核电、FDA 和公共选择理论，论证走得太远比走得不够远更可怕。

Labenz 请听众设想一下：如果自动驾驶公司在一次致命事故之后采取 e/acc 的姿态，没有标准，有人会死，那就面对吧。他们两秒钟就会破产。Waymo 的路线，即用数据和保险说话，正是 380 万英里（3.8 million miles）之所以有说服力的原因。这两场争议放在一起，就是他跨不过去的矛盾。一派说，这项技术没那么强大，没什么好担心的。e/acc 阵营说它确实强大、具有变革性，却又拒绝承担责任。如果策略是要推移奥弗顿之窗，他宁愿他们少一些策略性的沟通，多一些诚恳。这东西有多强大，风险有多大，你从 e/acc 那群人那里得不到答案。他们把发展轨迹当作普遍规律，还耸耸肩说，被超越甚至可能是一件道德上的好事。

他的结束挑战是产品责任，它已经存在。据他读到的 Perplexity 摘要，制造和分销环节的各方，都可能对产品造成的损害负责，而制造商必须尽到同类产品专家认为合理的注意义务。Anthropic 的“向顶端竞赛”（race to the top），是一次尝试，证明你可以同时做出前沿技术、做成一门生意，并且达到很高的安全标准。如果这些专家标准得到承认，它们就会开始界定注意义务。他怀疑，人们对自愿承诺的怒火，有一部分其实是对这条责任钩子的愤怒。他邀请 Beff Jezos、Jeremy Howard、Martin Casado 和 Steven Sinofsky 来节目，解释为什么 AI 产品应当免于责任，尤其是在没有什么好担心的前提下。数据库是惰性工具，而这些系统会规划、推理，还会使用工具。

Labenz 不希望把愚蠢的报告要求堆到一个使用的算力比 OpenAI 少几个数量级的应用开发者身上，也不希望每个 AI 产品上都挂上一条 GDPR 式的横幅。他也不希望行业为了防范一种尚未发生的愚蠢，而做出相反的表演，从而邀请重拳出击的监管。他引用了一句他归到 Eliezer Yudkowsky 名下的话：与愚蠢相对的并不是聪明，只是另一种形式的愚蠢。他对 Torenberg 说，把 e/acc 的嘉宾约来，试着越过两极化的框架，走向一个可信的正面愿景。在把一切都装进“应该做什么”的争论之前，先聚焦什么是真的。