只要 20% 算力的一小部分，也没要到

这是《认知革命》的一期加播节目，录得很匆忙。主持人 Nathan Labenz 请来常客 Zvi Mowshowitz 做客，Zvi 每周都会写长篇简报，追踪模型发布、实验室动向和安全研究。他们开始录制时，Jan Leike 已经在推特上发帖，解释自己为什么离开 OpenAI。OpenAI 首席科学家 Ilya Sutskever 是 Leike 在超级对齐（Superalignment）方面的联合负责人，几天前刚宣布离职。Sam Altman 的回复也已经发出。

2023 年 7 月，OpenAI 以书面形式宣布组建超级对齐团队：拨付公司当时算力的 20%，并给四年时间解决超级智能的对齐问题。Leike 的声明措辞平实。他和公司领导层在根本问题上存在分歧，他拿不到所需的资源，算力排在首位。他对队友的评价很温暖。实际上，这是一次抗议式的辞职。

TechCrunch、Vox 和彭博社都报道了大致相同的事实：团队只要求了承诺的 20% 中的一小部分，却被多次拒绝。团队已经解散，成员被分散到产品部门。OpenAI 表示，这项工作会继续进行。Zvi 的判断是：承诺已经违背，团队已经解散，领导层也已离开，怎么看都不像当初承诺的那种投入。距离四年计划才过去九个月。Labenz 在节目里直接把这个问题抛给 Altman：时间表还算数吗？

Labenz 称 Altman 对 Leike 的回应非常得体：是的，我们还有很多工作要做，我们会去做，之后还会发表更长的声明。Zvi 同意，这基本上是你能说出的最好的话。但说了之后，你就得去做。这份回复里没有任何编号的承诺。接下来发生什么，就是这场考试的内容。

Vox 的 Kelsey Piper 证实了不贬损条款的大致内容。这些条款是终身有效的。其中还包括一份连“你签过这份保密协议（NDA）”这件事本身都不能透露的协议。员工入职时，薪酬以股权为主，但没有人告诉他们：如果离职时拒绝签字，已经归属的股权会被没收。Zvi 说，他真的想不通这为什么合法。Labenz 的标准更简单：如果因为不签字就要没收价值巨大的东西，那就应该在入职之初把这条规则讲得非常清楚。

如果你希望别人不要往最坏处想，那么强迫每位员工无论如何都终身不得贬损公司，就算不上合理的立场。Zvi 指出，普通的竞业限制在加州本来就无法执行，而 FTC 正试图在全美范围内禁止大多数工人签订这类条款。与一个人大部分财富挂钩的终身封口，就更糟了。如果 OpenAI 的安全或文化出了问题，公众需要知道。法案里写上吹哨人保护条款，如果开口说话的代价是几百万美元的股票，而公司甚至无需起诉，就能直接收回，那这条条款就只是个摆设。

哲学上的分歧可以通过沟通化解。理论上，产品团队和安全团队可以坐在不同的房间里。但算力不行。如今做 AI 的任何事，都需要自己的芯片。Leike 说，这些拒绝已经成了工作的重大障碍。他还说，公司应该在为通用人工智能（AGI）的未来做准备上投入得多得多，远不止多一点点。他认为，就最基本的标准而言，比如不会像核电站熔毁那样出事，公司也还没有准备好让下一代模型保持安全，这还没谈到生存性风险。

目前可用算力的 20%，听起来很多。但 Zvi 认为，放到四年的时间里看，它并不多：除非发生什么非常奇怪的事情，两年后 OpenAI 的算力很可能是现在的十倍。在安全至上的行业里，研发成本的大部分恰恰就是安全投入，而这些投入只是为了让工厂不至于熔毁。超级对齐的要求本来就相当小，是一个非常温和的承诺。

Labenz 想不出这次拒绝有什么商业上的道理。如果团队只需要大约 5% 的算力，给了它，研究大概也只能快 5%。为了几个百分点，却让 Ilya 和 Leike 离开，并让这件事变成全球性新闻，怎么算都不划算。Zvi 的看法是，算力是压垮骆驼的最后一根稻草。彭博社报道，Leike 的临界点是 Ilya 的离开。Ilya 已经被排除在决策之外，再也无法扮演他过去那种对内沟通者的角色。每一次离职都在消耗信任，留下的人，手里的信任也越来越少。

Ilya 离开后，网上都在问 Ilya 看到了什么；Leike 离开后，网上又问 Jan 看到了什么。Zvi 的回答很不浪漫。他们看到的是一家并不真正重视安全、说的和做的对不上、文化上敌视安全工作、正转向闪亮新产品的公司。赚钱没有问题。麻烦在于，公司明确的使命是打造比人类更聪明的智能，而 Leike 和 Altman 都承认，这种事不会靠侥幸顺利完成。

Leike 担心的不只是遥远的超级智能问题。他认为，目前的进度赶不上让 GPT-5 在日常、平凡的实用场景里保持安全所需的工具。Zvi 引用了 OpenAI 自己的报告：相比 GPT-4 Turbo 或其竞争对手，GPT-4o 拒绝不当请求的倾向弱得多，比如怎样制造炸弹。他自己并没有对它做红队测试。何必呢？真正在意的人早就把它越狱了。发布会期间，Pliny 大约用了两分钟就越狱了 GPT-4o，因为他的第一个直觉就奏效了。

Zvi 说，很明显的一点是：4o 的开发过程并没有认真尝试从常规意义上让模型变得安全。他们大多认为这些能力没那么危险，也不打算在这上面花太多心思。发布的方式也朝同一个方向发展。ChatGPT 以一个平淡的名字推出，直接摆到人们面前让大家试用，没有推销式的宣传。GPT-4 也差不多。GPT-4o 则伴随着关于惊人能力的炒作而来，其中有些功能甚至还没上线，而且许多用户都不确定自己到底有没有用上新模型。

谷歌 I/O 大会的第二天，Altman 在推特上得意地表示，他的炒作声势比谷歌更好，却没有回应谷歌实际宣布的任何内容，也没有谈谁做出了更好的产品。Labenz 自己也感受到了这种转变：去年秋天的开发者日就已经发布了还没准备好的 GPTs；这次发布更乱，普通用户抱怨他们甚至没被切换到新版本。早期的 OpenAI 是说：这里有个很酷的东西，看看你能用它做什么。Zvi 形容当前的模式是：炒作机器。

在出现相反的证据之前，他希望大家把 OpenAI 当作一家实际上完全以营利为导向、追求快速增长、快速行动、敢于打破常规的创业公司，并以此为前提看待它；公司内部的文化也敌视对安全的担忧。如果模型并没那么危险，一个草率的 GPT-5 甚至可能是净正面的。Pliny 已经越狱了所有主要模型。总有一天，这种情况会变得不可接受。GPT-5 发布时，你大概率不会处在生存性危机之中。你对这一点有几个九的把握？Zvi 说，如果你给出的把握超过两个九，也就是 99%，你就是疯了。他大概只会给一个九，约 90%。

Leike 和 Ilya 离开后，大型安全与对齐的工作职责就交给了 John Schulman。他原本负责后训练（post-training），也就是让当今模型变得有用、行为良好的那部分工作。Labenz 提醒大家注意，同一周 Dwarkesh Patel 刚刚采访过 Schulman。Schulman 预计通用人工智能会在两到三年内出现。被问到是否可能明年就到来时，他说那会让他很惊讶，但他愿意认同两到三年的说法。被问到通用人工智能到来之后会发生什么、社会如何消化时，他多次表示，自己没有什么好的答案，希望领先的开发者能够彼此合作。Dwarkesh 在节目里直接说，这听起来并不是一个特别稳健的计划。

Zvi 说，指望后训练让通用人工智能或超级智能（ASI）变得有用又无害，基本上是一场白日梦。Leike 已经解释过，为什么基于人类反馈的强化学习（RLHF）解决不了这个问题，包括在 80,000 Hours 播客上，也包括在离 Zvi 只有几英尺的一次演讲中。Zvi 曾试图劝他放弃其他一些提议的方法，但没能把道理讲得足够透彻；他认为，Leike 不接受那些与自己的世界观相冲突的大胆说法，是合理的。关键在于看问题的高度。Leike 思考这个问题的层次，与一个工作内容是后训练的人并不相同。

没有人知道怎么解决这些问题，所以即使有人对 Zvi 认为行不通的想法感到兴奋，他也不会因此生气。尝试一下，学到一点东西，然后再试。Ilya 以把自己原先认为知道的一切都推翻重来而闻名，直到事情成功为止。正因为如此，Zvi 相信 Ilya 和 Leike 只要有资源和四年时间，至少能摸清一些不能用来对齐 AI 的方法。在他看来，第一种方法失败是正常的。眼下的问题是，他们连去尝试的资源都没有拿到足够的。

如果 Schulman 上任第一天就站出来说：我们没有计划，我们不知道怎么对齐这个东西，即便知道了，我们也不知道社会该如何应对从 AGI 到 ASI 的过渡；我们得抱着初学者的心态把它想清楚。那么，这已经是一位能力很强的创始人能给出的次优回答了。最好的回答是一份真正的计划。麻烦在于，他一直在做的工作，与他现在被要求解决的问题，并不是同一个问题。

这一周有人把自己锁在了 OpenAI 的围栏上。Labenz 半开玩笑地提到了消费者抗议，以及应用开发者集体抵制、转而投向 Claude 的可能，还提到要给加州的 SB 1047 法案施加更多推动力，该法案来自州参议员 Scott Wiener。Zvi 在分析这项法案时，主要是在找它哪里太严格。他发现了一个真正的漏洞：关于衍生模型与非衍生模型的定义，这会让上游实验室把责任推给下游，也会让双方都绕开安全保障。这一条必须修改。其他意见都是为了厘清过度延伸之处，并没有要掏空核心。

他接受的核心是：你要说明自己在做什么，如果撒了谎，就要承担责任；如果你在模型中发现灾难性风险，就必须有办法关停这个模型。法案里也有吹哨人保护条款，这与封口条款形成了尖锐的反差。Zvi 进一步的立场是，AI 公司不应被允许签订终身的不贬损协议，至少在涉及安全的问题上是这样，甚至可能根本不应该签。他的自由主义直觉是，宣布合同无效是件坏事；不过他说，这一点正是值得认真考虑的地方。

总得有人检查这些工作。Zvi 对 Anthropic 的负责任扩展政策（RSP），以及 OpenAI 的 Preparedness 框架，也持同样的看法：如果它们的精神得到遵守，它们可能会非常好。前提是，人们把一次感觉仍然不对劲的技术测试通过，当作必须停下来调查的信号，别只当成打个勾就过的走过场。如果应试者知道考题，只针对那一个攻击面加固，那就完了。只要实验室是在应付考试，就不存在任何能经得住考验的测试组合。除非你对这家公司的文化有深度的信任，否则必须做第三方测试。经过这一周，他对 OpenAI 已经没有这种信任。如果你可以选择用哪家公司的技术，那么选择本身也是你所做的事情的一部分。Anthropic 员工中那种对风险的关切氛围，开始看起来像一项产品功能。房间里没有天使，只有程度高低之分。

他最希望更多人关注的一个对齐思路，是 Sophon。这是一项由中国团队提出的技术，名字取自《三体》里那些锁死地球物理学的智子。它的主张是，把一个开放模型困在特定话题的局部最优解里，让普通的微调没法把它教出来，就像有些人认定自己学不会数学一样，让它对生物学一窍不通。这是他听过的第一个可能把“把通用模型改造成特定用途”的成本，抬高到远超可忽略水平的提议。它的局限在于清单：你得把它不能知道的东西一一列出来。这对已知威胁有效，但对比你更聪明的系统所发明的东西就失效了。科幻小说里的反派总会忽略那个不在清单上的古怪东西。正确的做法是先停下来，直到你弄清楚那个古怪东西是什么。

Labenz 提议拍一部电影：《社交网络》遇上《指环王》，一个像 Altman 的人物被魔戒腐蚀。Zvi 更想看的是没有反派、也没有蠢人的版本：每个局部决策都合乎情理，但控制仍然会失守。他喜欢“小径分岔的花园”这个意象：树上有些分支是终点。被问到模拟假说时，他的态度始终如一：即使你有 9,999 个模拟副本，正确的策略依然是把这一个当作真实的来对待。那些认定自己身处模拟、因此停止建设未来的人，他们的祖先模拟不会被运行。你必须认真对待眼前的处境。

Anthropic 的 Amanda Askell 曾在推特上说，她并不认为 AI 一定会杀死所有人，还说如果她是末日论者，就该在加勒比海，而不是在上班。Zvi 想把“末日论者”这个词拿回来。真正的末日论者，是那种说什么都无济于事、末日概率恒为 0.999……、自己做什么决定都没有意义的人。如果你认为我们可能失败，也可能获胜，而且你也可以参与这场斗争（这是一个古老的观念，宇宙命运悬而未决），那你就不是末日论者。把胜利的机会从 34.007% 推到 34.008%，那就是一段很好的人生。如果 Askell 需要两周海滩假期才能想得清楚，那就应该去休。

那天晚上他要和以前玩 Magic（万智牌）的老朋友一起去麦迪逊广场花园。那里有 40,000 名尼克斯队球迷，因为球队在印第安纳州作客，他们只能通过大屏幕看第六场比赛。生活不全是战斗。离开 OpenAI 的人都是顶尖人才，总会有人把他们抢走，或者他们自己去做点什么。下一幕由 Altman 来写。在那之前，实用的清单很短。留意接下来的公告，看看具体的数字和人名：究竟有多少算力真正到位，又招了多少安全方面的人。选择模型时，把安全文化当作一项标准，并把 Claude 放进对比。持续关注 SB 1047，尤其是其中对与股权挂钩的终身封口条款的任何禁止规定。还有，不要把认真对待问题，和认定自己无能为力混为一谈。