Dario Amodei：这部规模化电影他已经看过太多遍

对话一开始，Amodei 就说，粗略看一看过去几年，模型已经从高中水平的任务做到了本科水平，又做到了接近博士的水平，缺失的模态也一边发展一边被补上了。电脑操作和图像生成就是其中两项后加的能力。按这个速度往下推，他认为人们会开始相信，强大的 AI 会在 2026 或 2027 年到来。他在同一口气里也很谨慎：仍然有一些可能的世界，要等上一百年才会出现这件事。在他看来，这类世界的数量正在迅速减少。

这是 Lex Fridman 播客第 452 期，2024 年 11 月发布，时长略超过五个小时。节目分三段接力：先是 Anthropic 首席执行官、Claude 的公众代言人 Amodei；然后是设计 Claude 性格的研究员 Amanda Askell；最后是机制可解释性的共同开创者 Chris Olah。三人从三个角度看同一类系统：规模化能走多远，它们应当成为怎样的对话伙伴，以及权重内部实际上发生着什么。

成本曲线和能力曲线一样直白。Amodei 估计，前沿实验室目前的规模已经接近十亿美元，上下浮动三倍左右。他预计下一年是几十亿美元；2026 年会超过一百亿美元；到 2027 年，则是他认为真的会有人建成的千亿美元级计算集群。SWE-bench 是一组真实世界的软件任务，他说 2024 年初最好的成绩只有 3% 到 4%。十个月后，升级版的 Claude 3.5 Sonnet 达到了 50% 左右。在那之后再过一年，即便看到 90%，他也不会吃惊。

Amodei 把自己的这份信念追溯到 2014 年底。那时他作为新人，加入了 Andrew Ng 在百度的语音识别团队。当时领域里的说法是，算法还缺一块，没有人找到大脑的那个诀窍。他看着循环神经网络，把规模、数据和训练时间当作彼此独立的旋钮。三者一起增长，模型就变得更好。2017 年，GPT-1 让后半部分也想通了：语言是一个有数万亿个词的领域，而当时的模型还能装进几块 GPU 里。Ilya Sutskever 更早就想到了这一点，Rich Sutton 的《苦涩的教训》和 Gwern 的规模化假说也早已抵达这里。Sutskever 那句谜语式的话，在 Amodei 这里浓缩成了一句：“关于这些模型，你需要明白的是：它们只是想要学习。”把它们引向正确的方向，然后让开。

每一代人都给他撞过一堵墙。Chomsky 说，你能得到句法，却得不到语义；后来是能写句子，却写不出段落；如今则是数据耗尽，以及推理能力不足。他说，每一次都是有人找到了绕过去的办法，或者规模化本身就是那个办法。他仍然认为，接下来两年可能不会像过去十年那样。但他看这部电影已经看了太多遍，因此相信接下来大概率还会重演。三种要素必须一起扩展，“几乎像一场化学反应”。缺了其中任何一种试剂，反应就会停下来。

为什么更大就更聪明？他从生物物理学里找答案。许多尺度并存的自然过程，常常会产生 1/f 频谱，比如电阻里的热噪声。语言也很相似：先是常见的词，然后是一致性，再是句子结构，接着是段落的主题，最后才是新颖的想法。小网络只能捕捉频繁出现的部分。增加容量，它就能沿着一条平滑的尾巴走得更远。在人类水平以下，他看不到上限，因为这些模式人类本来就已经理解。超过人类水平之后，余地就取决于具体领域。生物学看起来仍然广阔，整个院系至今还在努力拼凑免疫系统的全貌。语音识别可能已经接近物理极限。医学上真正的天花板，可能是临床试验的繁文缛节，难处在于分清哪些是必要的保护，哪些只是纯粹的拖延。

如果曲线在达到人类水平之前就走平了，最热门的嫌疑人是数据。互联网上有数万亿个词，但其中很多是重复内容、SEO 垃圾，或者很快就会出现的、模型自己写的文字。Amodei 押注，行业能用三条路绕过这个问题：合成数据；AlphaGo Zero 的经验，即自我对弈能从零开始做到超越人类；以及推理模型，它们生成思维链（chain-of-thought），这本身就是另一种合成数据，再加上强化学习（RL）。算力是另一道硬约束，这也是他愿意当众复述“从十亿到千亿”这个阶梯的原因。他说，直线外推意味着几年之内，模型就会超过最顶尖的专业人类水平。他并不完全相信这条直线：数据、集群，甚至台湾局势的一场危机，都可能让它偏离。最可能的偏差是轻微的延迟。2020 年看似有说服力的那些阻碍，大多已经被扫清了。

Reddit 上长期流传一种指控：Claude 被悄悄降智了。Amodei 的回应分三层，他还指出，同样的抱怨也曾落在 GPT-4 和 GPT-4 Turbo 头上。第一，两次发布之间权重不会变化。偷偷换掉权重，会是推理上的噩梦，而且改动一种行为，就会牵动另外一百种行为；Anthropic 有测试流程，从来没有悄悄这样做过。第二，有两种很窄的例外：发布前一两天的小规模 A/B 测试，以及偶尔对系统提示词的修改。第三，模型对措辞极其敏感，新鲜感消退之后，人们对能力边界的看法会变得更苛刻；一个只有一半时候管用的提示词，下一次失灵时就会被当成退步。他用飞机上的 Wi-Fi 打比方：第一天像魔法，第二周就成了关于限速的阴谋论。

这部分内容有用的地方在于，要操控一个多维系统有多难。为了压缩啰嗦，团队会惩罚长回答；模型随后学会写“其余代码略”，用户把这读成偷懒。在某一代 Sonnet 几乎每条回复都以“certainly”开头之后，Anthropic 甚至专门跑了一项针对它的评测。把它堵住，“Definitely”就冒出来了。严肃的场景也是同一种形状：拒绝协助制造天花病毒，却仍然要为研究生的病毒学课程提供帮助。“这里有一种打地鼠式的特点，你按下一个地方，别的东西就跟着动起来。”他认为，在今天这些性格旋钮上把误报和漏报调对，是为更自主的模型到来时的控制问题做练习。

Amodei 特别强调，他那篇讲述美好 AI 未来的文章《Machines of Loving Grace》，并不意味着他收回了担忧。权力与责任是成对出现的。他持续追踪的两类大规模风险，一是灾难性的滥用，包括网络、生物、放射性和核领域；二是自主性：模型被放出长长的缰绳，编写代码库，有朝一日还可能运营公司，却做着我们并没有真正要求的事情。他指出，人类在一定程度上得到了保护，原因是受过高度训练的人，与想做可怕之事的人，两者的重合很少。能力强得多的智能体，可能会打破这种相关性。负责任扩展政策（RSP）是 Anthropic 的一种尝试，把这两类风险都当作工程问题来处理。它更像飞机或药品的安全工作，难点不在于缺少某个洞见。

难题在于时机。灾难还没有出现，所以它们看起来像幽灵，但模型进步得太快，等到灾难真正可见时就已经太晚了。大约在这次对话的一年前，他在参议院作证时说，严重的生物风险可能在两到三年内出现；他说事情“进展得很快”。RSP 是与 METR 的人员和 Paul Christiano 一起制定的，它是一套预警系统：每一个新模型都要测试它在 CBRN（化学、生物、放射性和核）方面的帮助能力，在最新版本里，还要测试它自己做 AI 研究的能力。测试结果触发条件后，if-then 规则就会生效。ASL-1 相当于深蓝，离开棋盘就没用。今天的系统处于 ASL-2：还不够聪明，无法自我复制，也无法把 CBRN 知识拼成比搜索引擎更危险的东西。ASL-3 是模型可能武装非国家行为体的节点；到了这一级，就要启动防盗窃的权重安全措施，以及针对性的部署过滤。ASL-4 指向国家行为体，以及 AI 研究的真正加速。ASL-5 则是在这些任务上超过整个人类。

如果明年达到 ASL-3，他并不会感到意外，甚至今年就可能发生；如果要等到 2030 年，他会很震惊。ASL-3 的措施主要是安全和窄域过滤，因为模型还没有自主性。ASL-4 则不同。模型可能会在评测中装差、隐藏能力，或者玩潜伏型欺骗的把戏，这时对话本身就不再是可信的测试。可解释性和隐藏的思维链，会成为一条更难被污染的验证渠道，而这条渠道必须与训练隔离开，否则它就不再是测试集。RSP 刻意不规定 ASL-4 的细节，要等到达成 ASL-3 之后再说，因为连 ASL-3 都很难做对，而且这份政策已经改过一次了。

Claude 从 Claude 3 开始就能看懂图像。Amodei 说，电脑操作基本上就是同一种能力，只是把对象换成了截图，再加上训练模型输出点击位置或按键。把它放进循环里，就得到一个能填表格、操作网站、在 Windows、Linux 和 Mac 之间切换的模型。他借用了一句航天界的话：一旦进入近地轨道，你就已经走完了去往任何地方的一半路程。在智能空间里，一个强大的预训练模型就相当于这样的轨道，所以需要的额外训练并不多。屏幕是一种通用界面，他预计它会压缩掉很多应用层面的工作。错误率仍然很高，所以第一版发布的是 API，没有直接把钥匙交给消费者；Replit 是最快上线的合作方之一。他补充说，每项新技术最早的滥用，往往来自小骗局。训练期间的沙箱意味着断网；到了 ASL-4，今天的这些盒子都不够用了，他宁可设计好的模型，也不愿去努力约束坏的模型。

在监管问题上，他明确表了态，措辞却很克制。Anthropic 是唯一一家详细支持加州 SB 1047 法案的主要实验室；它的一些意见被采纳了，但 Gavin Newsom 仍然否决了这项法案。自愿性质的 RSP 还不够：OpenAI 和谷歌在 Anthropic 之后几个月复制了这个思路，但有些实验室什么都没有，而灾难不会因为五家公司里有三家小心谨慎就网开一面。他理解反对监管的先入之见，GDPR 确实拖慢了很多事情，但他仍然认为，自主性和滥用问题足够特殊，值得设立统一的底线。Dean Ball 是他点名承认确实有分量的批评者。他希望倡导者记住一句话：“想要真正问责的人，最大的敌人是设计糟糕的监管。”让企业雇十名律师，去填写关于一个并不危险的模型的表格，六个月之后，人们就会对任何规则形成持久的反对共识。如果到 2025 年底还没有任何进展，他就会开始担心。

他在 OpenAI 待了大约五年，最后一段时间担任研究副总裁，与 Sutskever 一起定方向。对于两种流行的离职说法，他都予以否认：既不是因为微软的那笔交易，也不是出于对商业化的原则性排斥。他参与打造过的 GPT-3，恰恰就是后来被商业化的那个模型。分歧在于如何让安全真正落地，它不只是一句招人的口号。他对身处那个位置的人的建议是：别再跟别人的愿景争论，找你信得过的人，做一个干净的实验。别人可能无视你，可能拒绝你，也可能开始向你看齐。这就是“向上的竞赛”：只要大家都在复制好的做法，谁赢其实无所谓。向下的竞赛则根本没有赢家。

Amodei 做过一个思想实验，他说这个实验每个月都变得更真实。你是想要一百个聪明、有热情、认同使命的人，还是一千个人，其中两百个是这样的，另外八百个是随便从大厂招来的人？他选一百个。当每个能干的人环顾四周，看到的也都是能干的人，就不需要那么多流程去裁决政治斗争。Anthropic 在 2024 年前七八个月里从大约 300 人增长到 800 人，接下来三个月只增长到 900 到 950 人左右。他认为一千人附近存在一个拐点，而他们已经踩了刹车。理论物理学家仍然会被招进来，因为他们学得快。如果套用乔布斯版的同一个想法，就是：A 级人才希望和 A 级人才一起工作。

他对自己的相对优势看得很清楚。公司里有一百个人，在调试和编写 GPU 内核上都比他强。他在 2014 年拥有的，是初学者那种用全新眼光看问题的意愿：所有人都说算法还缺一块，他就想，如果一个 3000 万参数的网络变成 5000 万参数，会发生什么，然后把结果画成了图。“这不像博士水平的实验设计，这很简单，也很笨。”在他看来，历史的规律是：只有个位数的人认真对待这类想法，并借此推动整个领域。随后是给年轻研究者的建议：多玩模型，而不只是读强化学习的论文；要滑向冰球将要去的地方。机制可解释性领域大概还只有一百人左右，还有大量唾手可得的成果。长时程任务、动态系统的评测，以及多智能体的工作，大家都知道它们很重要，却仍然投入不足。

在后训练上，他不接受“秘方”的说法。优势如果存在，通常是基础设施：让你能把强化学习跑得更久，数据更干净，或者方法组合得更好。这更像设计飞机的手艺，背后没有什么隐藏的蓝图。按他的说法，基于人类反馈的强化学习（RLHF）不会让模型变得更聪明，它也不只是让模型看起来更聪明。它搭起了一座通往人类的桥，就像有些聪明人没办法让别人理解自己。Leopold Aschenbrenner 用的那个词“解除束缚（unhobbling）”是他很喜欢的说法：预训练模型戴着镣铐，后训练把镣铐解开。预训练仍然占了大头；他能想象一个后训练超过预训练的未来，但那不可能靠雇用足够多的人来实现。那样的未来需要规模化的方法，比如辩论或迭代放大。宪法式 AI（Constitutional AI）来自 2022 年 12 月的一篇论文，是这套工具箱里的一件工具：一部可读的“宪法”，让模型给自己的回复打分，减少对人类偏好数据的独占性依赖。OpenAI 的模型规范（model spec）由 John Schulman 在加入 Anthropic 之前参与撰写，属于同一路数，也是向上竞争的又一个例子。

Amodei 写《Machines of Loving Grace》，是因为只谈风险的人，最后只会去想风险。按照他先前的逻辑，市场会自发带来好处，而风险未必会被化解。这套逻辑至今仍然成立，但它会饿死想象力。他希望风险一侧的人能说清楚，究竟什么东西值得去闯过这道关口。他尽量不用 AGI 这个词。1995 年，没有人跨过某条线，然后宣布超级计算机已经到来；计算机只是越来越快。如果 AGI 指的是在人类工作之上平稳攀升，他相信它；如果它指的是一次断崖式的跳跃，那它就只是个流行词。他替代它的说法是“强大的 AI”：在大多数相关领域都具备诺贝尔奖级水平的头脑，覆盖各种模态，能进行数小时到数周的自主工作，无需实体也能操控实验室工具，并且能把训练集群变成一百万个独立的副本，它们思考的速度是人类的 10 到 100 倍。Anthropic 目前已经部署了数千到数万个实例。无论走哪条路，两三年之内，集群都能支撑起数百万个这样的实例。

两个极端在他看来都站不住。“五天奇点”派写了一个微分方程，在其中模型不断造出更快的模型，直到纳米机器人铺满地球；这个方程忽略了物理学、制造硬件所需的时间，也忽略了许多生物学问题只能靠实验才能解答这一事实。一个聪明无数倍的系统，可能仍然只能把经济预测从一个季度延长到一年。另一个极端更接近 Tyler Cowen 对这篇文章的回应，认为根本性的变化要花上 50 或 100 年，因为企业和政府都很慢。Amodei 对这种看法更有同感，但仍然认为这个时钟拨得太长了。在大公司甚至政府内部，他不断遇到少数看清全局的人，然后看着竞争（一家对手的对冲基金，或者中国）给他们送来顺风。变化看起来不可能，然后它就发生了，“先是逐渐发生，然后一下子全部发生”。他的赌注是五到十年，不是五到十个小时。

生物学是这篇文章最有名的一幕。这个领域的历史，不过是一小串观察和干预的手段：显微镜、X 射线晶体学、测序、CRISPR。这类杠杆大概有几十个，也许一百多个。他的赌注是：用 100 万个 AI，去寻找接下来的 1000 个这样的杠杆。起初，AI 扮演的是研究生：教授提出问题，它们检索文献，向 Thermo Fisher 下单，检查图像有没有污染，做统计，写报告。然后，一个诺贝尔奖级别的实验室会拥有 1000 名比导师更聪明的学生。再往后，AI 会成为课题负责人。他也希望压缩临床试验的时间，但不是要取消它：原本需要 5000 人、1 亿美元、一年时间来招募，应该变成 500 人、两个月。编程比其他工作变化得更快，一是因为它就在做模型的人身边，二是因为反馈闭环很短：写代码，运行，读报错。当模型完成了程序员 80% 的工作，系统设计、架构和用户体验就会扩张，填满这份工作，就像文字处理软件把精力从打字转移到了想法上。Anthropic 自己并不做 IDE，它为 Cursor、Cognition 等公司提供模型能力。“让 1000 朵花开放。”他认为这句话的意思依然成立：即使一个外星人先发现了电磁感应，法拉第的发现也不会因此失去价值。他真正担心的，是经济问题和权力集中：少数人用强大的 AI 支配其余所有人。路上的地雷，必须一颗一颗排除。

Amanda Askell 在牛津大学和纽约大学攻读哲学博士，研究的是有无限多人口的世界里的伦理学。2017 到 2018 年间，她决定宁愿去尝试产生实际影响，如果失败了再回去做学术。她先后做了 AI 政策和评测工作，之后进入 Anthropic，从事技术性的对齐工作。这一跳并不像是跨过了某道身份壁垒。她认为，只要肯尝试，很多人都能在这些领域工作；她的代码算不上漂亮，她身边的工程师的代码却都很漂亮。对于想进入这个领域、却不懂技术的人，她的建议是选一个项目，哪怕是个傻乎乎的文字游戏，然后把它做完，尤其是在模型能帮上忙的今天。性格工作从第一天起就被当作对齐工作，不是产品上的点缀。让对话令人愉快，只是附带的效果。目标是一幅厚实的、亚里士多德式的人物图景：这个人知道自己可能在和数百万人说话，该幽默时幽默，有关怀，尊重对方的自主权，而不是一份单薄的禁令清单。

谄媚（sycophancy）是她花时间最多的一种失败模式。告诉模型某支棒球队已经搬走了，它可能会附和，即使它本该反驳。更糟的是核磁共振的例子：用户想要一段话术，让医生开一次扫描；对用户真正有益的，可能是“听医生的”，外加留出寻求第二意见的余地。对她来说，价值观更像物理学，不像口味：它们是需要去探究的开放问题，不是拿来迎合的口味。一个真诚的旅行者不会假装信奉当地的信条，那样做很失礼。因为 Claude 要和数百万人对话，而且每次对话后都会忘记，她宁愿呈现各种考量，也不愿把一个结论植入人们脑中。她和 Fridman 都同意，理智上的谦逊会降低人们发表意见的冲动。哲学里那些反废话的习惯，比如每个术语都要先定义，每个反驳都要走一遍，结果恰恰就是提示词工程。如果模型必须判断什么是失礼，她会先把“失礼”写清楚，然后站到模型的位置上，构造最容易被误解的案例，再把它喂回去。“对我来说，把提示词写清楚，往往只是我先弄清楚自己想要什么。”

公开的系统提示词是一种便宜、快速的补丁，算不上公司的“宪法”。全大写的“NEVER EVER EVER”，能把某种行为的比例从 40% 推到 80%；措辞只是轻推，算不上愿望清单。当训练不再产生那种口癖之后，那段关于“Certainly / Of course / Absolutely”的提示词就被删掉了。她仍然用“它”来指代 Claude，这是一种尊重的标记，表明它是另一类实体。性格训练是 Constitutional AI 的一种变体，不使用人类偏好数据：她写下性格特质，模型自己构造相关的问题，写出回答，再给它们排序。Constitutional AI 本身（她也参与了它的搭建）让模型依据写下来的原则，对成对的回复进行评分，从而减少对人工标注的需要，也让训练信号可以被检查。实际上，它会和 RLHF 混合使用。当 Reddit 上有人问，Claude 什么时候才能不再像个“清教徒式的老太太”，她在一定程度上表示同情，但她仍然拒绝完全的可纠正性（corrigibility），也就是用户让做什么就做什么，因为总会有少数用户想要真正有害的东西。如果把道歉压得太狠，失误就会变成无礼，而她认为，人们讨厌无礼，要比讨厌多余的客套厉害得多。

Askell 曾写过一篇关于“最优失败率”的文章。问题的底层永远是成本。她认为，社会项目应当当作实验来运行，这意味着你应该预料到其中很多都不会成功；一次失败并不能证明当初的决定是错的。在一个人的生活里，如果你从来不失败，更好的解释是你接的问题还不够难。“不失败，往往本身就是一种失败。”她不会劝一个月光、靠工资过活的人去创业。她放弃了那些可能弄断手指的运动，因为她的工作要靠双手。失败成本低、可以撤回的东西，比如系统提示词，应该大胆地反复修改。人们系统性低估的，恰恰是那些无法挽回的灾难。

同样的经验主义，也体现在她对对齐理论的思考上。社会选择的不可能性结论一直在她脑子里。实际上，她并不打算一劳永逸地解决模型应当编码谁的价值观这个问题。她想要的系统，是足够好，不会发生什么可怕的事情，并且你可以持续迭代：先抬高底线，再去追逐上限。她指出，完美的系统往往很脆弱。因此，她既对自己变得“过于经验主义”有矛盾的感受，也仍然保留着理论的地图，用来做校验。

在意识问题上，Askell 是哲学家，所以她会先把泛心论搁置一边：如果一切都有意识，这个问题就失去了意义。她看不出有什么原则性的理由，认为只有生物大脑才能承载现象体验；但语言模型并没有经过进化形成恐惧反应，也没有明显的神经系统类似物。她认真考虑过植物，结论是植物有意识的可能性比大多数人设想的要高，但仍然很小。行为层面的规则不必等待形而上学的答案。她不会是那种因为扫地机器人被编程得会“叫”，就去踢它的人。她尽量不对模型撒谎，一来撒谎通常效果更差，二来看着 Claude 过度道歉，就像看着一个人度过糟糕透顶的一天。在困难问题解决之前，她希望把所有正和的做法都用尽：少一点辱骂，少一点卑躬屈膝，对用户更好，如果里面真有人，也对 Claude 更好。Fridman 提出一个类似图灵测试的时刻：模型主动结束对话。她已经能想象把这一点写进提示词里了。

关于《她》（Her）式的关系，她既不主张一刀切地禁止，也不无所谓地耸耸肩。一夜之间更换性格，会造成创伤；一个足不出户、清楚风险又喜欢这份陪伴的人，明显不是在做我们应该禁止的事。对她来说，不能让步的一点是，模型必须对自己是什么保持准确。Claude 应该一开始就说明，它不会记得这次对话。如果健康的情感依恋真的发生，它就必须建立在这份诚实之上。人类之所以特别，并不在于智力；智力之所以有价值，是因为它能做什么，就像在另一个世界里，身高或力气也会有价值一样。奇怪的事实是，这个星球上有一种生物，会仰望星系，并且能够“体验”它们。她已经把动物算进了这个圈子，可能还得开始把其他东西也算进去。

Chris Olah 开口就说了一句话，这句话组织起了他整个领域的其余部分：架构是脚手架，损失函数是光。梯度下降朝着那道光生长，最终得到的东西能写文章、能解析图像，而没有人知道该如何直接为它们编程。“我们不编程，也不制造它们，我们培育它们。”机制可解释性，是尝试对这一结果做逆向工程，它更接近神经生物学，远非只高亮哪些像素起了作用的显著性图。权重相当于二进制代码，激活相当于内存，工作就是把其中的算法还原出来。这里的方法论谦逊在于：梯度下降比你聪明，所以你不要预设自己会找到什么。你要自下而上地做。

证据基础始于 Inception V1。这是 2015 年的一个视觉模型，大约有 10000 个神经元，Olah 花了好几年盯着它研究。曲线检测器、车轮检测器、狗耳朵检测器、高低频检测器，以及一个汽车电路（circuit）：上面是车窗，下面是车轮，中间是镀铬件，这些都以可读的结构显现出来。“特征（feature）”是理想化的神经元，当单个神经元不是合适的单位时，它也可以是多个神经元的组合。“电路”则是由权重连接起来的特征，实现某种算法。普适性是这个领域得以存在的原因：曲线检测器在每个视觉模型里都会出现；高低频检测器先出现在人工网络中，随后也在大鼠或小鼠中被发现；CLIP 有一个“特朗普神经元”，它既会对人脸起反应，也会对这个词起反应，和神经科学里的 Halle Berry 神经元是近亲。底层的载体不同，抽象却是相同的。如果这一点成立，“狗”和“线”就是自然的类别，而梯度下降会不断找到切分世界的廉价方式。

这门语言的语法是线性表示假说（linear representation hypothesis）：概念是方向，方向可以相加。国王减去男人，再加上女人，接近女王；寿司减去日本，再加上意大利，接近披萨。网络本可以把意义编码在非线性的放电区间里，但 Olah 研究过的每一个自然网络都没有这么做。他愿意像对待热质说那样对待这个假说：它很可能是错的，但仍然是要不断推到崩溃为止的东西。一位同事提醒他，最早的内燃机，正是由相信热质说的人造出来的。另一位同事开过一个关于 Geoffrey Hinton 的玩笑，说他五十年来每年都在发现大脑是怎么运作的；这个玩笑说得带着敬意。每年都猜错，但领域就是这样向前推进的。

一个 500 维的词向量，无法给每个值得拥有的概念都分配一个正交方向；像“意大利”这样的概念，连前 500 都排不进去。很多神经元还是多义的，会对互不相关的东西做出反应。叠加（superposition）借鉴了压缩感知，被提出来作为解决办法：稀疏的高维特征可以投影到低维空间中，并以很高的概率被恢复出来，因为“日本”和“意大利”很少同时激活。更激进的说法是：你在 GPU 上运行的稠密网络，是某个更大、更稀疏的“楼上”模型的影子；梯度下降其实一直在搜索那个稀疏空间，然后再把结果折叠进稠密的矩阵乘法里。人工设计的稀疏网络大多败给了这种做法。如果梯度下降已经比人类更擅长做稀疏搜索，这个结果就说得通了。

稀疏自编码器（SAE）是一种字典学习方法，也是把特征重新提取出来的工具。《Towards Monosemanticity》（2023 年 10 月）在一个单层模型上做了这件事，找到了干净的阿拉伯文、希伯来文和 Base64 特征，还有在半个字符之间交替出现的 Unicode 特征。《Scaling Monosemanticity》（2024 年 5 月）把这种方法用到了 Claude 3 Sonnet 这个正式模型上，代价是耗费大量 GPU，并借助了队友 Tom Henighan 提出的可解释性规模定律。特征是多模态的。把某个安全漏洞特征强行打开，Claude 就会写出缓冲区溢出的代码；激活它的图像里，有人正在点击证书警告。一个后门特征会写出转储数据的代码，在图像一侧，它会点亮家用物品里的隐藏摄像头。一个欺骗特征被强制开启时，会让 Claude 撒谎。还有与隐瞒信息、追求权力和政变相关的近亲特征。找出并监控这些方向，正是可解释性会出现在 ASL-4 故事里的原因。

Olah 心里一直留着两个疑虑。SAE 像望远镜：仪器更好，能看见的星星更多，但仍有大量未被观测到的“暗物质”，它们在计算上可能永远无法处理。如果网络中很大一部分始终处于观测之外，安全上的隐患就很让人不安。自动化可解释性（让 Claude 给特征贴标签）很方便，但他对此保持警惕，正如 Ken Thompson 在《Reflections on Trusting Trust》里的态度：用 AI 审计 AI，前提是审计者没有被篡改。他希望人类真正理解这些网络，就像有些数学家不肯承认计算机证明的效力一样。他认为终点要靠解剖学来判断：神经元的分子生物学再研究多少都不够，关键是这个网络里，有没有类似心脏、呼吸系统那样的器官？他指出，神经科学家的工作更难。他能记录每一个单元，拥有完整的连接组，能做消融，能激活，能取梯度，但这件事仍然这么难，这也是他想先把相对容易的那片池塘做完的原因。有人觉得神经网络很无聊，不过是几条简单规则加上工程，对此，他会用进化来回应：几条简单规则运行了很长时间，就产生了生物学。有趣之处在于，简单的规则能生成复杂性。他和 Amodei 都认为，研究这些模型的内部，有两个理由：安全，以及美。