今年夏天，什么都没有突破曲线：Zvi 为什么拉长了 AGI 时间表

Nathan Labenz 以一个谜题开场，这是 Zvi Mowshowitz 第十次做客 The Cognitive Revolution。GPT-5 如今看起来是一个不错的模型，走在既有趋势上，甚至略高于 METR 的任务时长曲线，倍增周期缩短到四个月，此前是七个月。OpenAI 和谷歌都宣称拿到了 IMO 金牌，一个 OpenAI 的模型还在一场重要的编程竞赛中拿到了第二名。但 Ryan Greenblatt 和 Daniel Kokotajlo 这样消息灵通的人，仍然拉长了自己的 AGI 时间表。Labenz 想知道 Zvi 是怎样更新判断的，以及为什么符合趋势、甚至略微超前的消息，反而被当成了延期的信号。

Zvi 说，他自己的时间表总体上确实拉长了一些。最大的原因是机制性的：非常大的能力跳跃，尤其是推理模型这样的新范式，才会压缩时间表。今年夏天没有出现这样的东西。这些结果与几年前的趋势一致，而且考虑到已经发生的事情，它们都算不上特别了不起。严肃的观察者本来就很少怀疑这些进展会出现，只是没料到会在那个确切的日子出现。

这种落在第 40、第 50 百分位左右的消息，反而会拉长预测，因为短时间表的很大一部分概率，押注的正是事情发生得很快。Zvi 说，在这四个月里，2025 年实现 AGI 的概率大幅下降，几乎降到零，降幅超过十倍。2026 年和 2027 年也下降了不少，2030 年只动了一点点。他很小心地把自己的判断和另一群人区分开。那些人一心想找借口，说 AGI 根本不存在，说推理已经撞墙，或者说实验室会破产。Zvi 说，他听到的这种论调据称来自白宫，经由 David Sacks 传出，把 AI 当作一种普通技术，它的主要任务是赢下芯片技术栈之争。

Zvi 认为，IMO 金牌听起来比实际更厉害，因为今年的试卷对语言模型特别友好。第三题和第六题本该是难倒模型的题目。今年的第三题并不难，这是比赛日程上的一个偶然因素，和 AI 无关；只有第六题在 IMO 的意义上真正很难。所有模型在第六题上都没有得分，它们都解出了第三题。前五题各得七分，恰好达到金牌线。只要多一分，或者第三题的难度正常，就没有任何人能拿到金牌。此前的消息已经表明，各实验室离这个水平相当近了，所以懂行的人看到细节之后，并没有大惊小怪。

Labenz 反驳说，IMO 的答案是证明题，并非选择题，因此这应该算作证据，说明在可验证问题上做的强化学习能够泛化到真正的推理。Zvi 不以为然。模型此前就已经能解类似 IMO 的题目和以往的 IMO 题目，AlphaGeometry 就是例子。他自己曾经打进过 USAMO，也就是 IMO 国家队之下的那一级，结果几乎得零分。后来进入美国国家队的队友会拿证明给他看，那些证明他自己想不出来，却仍然能够验证。验证远比生成容易。他很确定，那些在第六题上失败的模型，如果给它们候选证明并提供足够的资源，也能分辨出哪些是正确的证明，哪些是错误的。

竞赛数学也不等于研究数学。允许使用的工具，是一小套高中水平的招数；题目必须能在有限的时间和篇幅里解决；而竞赛能力的很大一部分，就是利用这些限制来缩小搜索范围。这种元推理在博士级别的证明中并不存在。编程比赛的情况也差不多。Zvi 读过获胜选手的总结：OpenAI 的模型几乎立刻给出了一个不错的解法，迅速拿下大量分数，然后却无法反复迭代，也没有提出概念上的突破。那位选手提前做了规划，拉开了舒适的领先。Zvi 认为，如果比赛再长一些，模型大概会掉到第三或第四名。“如果你从 2020 年穿越过来，第一件事就是问我们 IMO 考得怎么样，拿到金牌应该会让你惊掉下巴，”他说，“但以目前的背景看，边际上的更新其实没有那么大。”

“GPT-5 令人失望，所以通用人工智能很遥远”这种说法，很大程度上只是一次糟糕的发布。Zvi 说，上线第一天路由器就出了问题，用户被分流到了 mini 模型上。很多人不知道应该打开思考模式，也找不到开关。没有人认真去尝试，因为那需要花更长的时间。OpenAI 还大肆宣传“死星”，又把 GPT-5 这个名字用在渐进式的进步上。把 4、4 Turbo、4o、o1、o3、4.5 和 5 全部放在一起看，总的跃进确实惊人，但从 GPT-3.5 到 4 的飞跃，依然比从 4 到 5 大得多。用户抱怨 5 不肯像 4o 那样对他们阿谀奉承，Zvi 认为这是一个有德性的选择；公司最终还是把那份甜头又端了回来。

Labenz 注意到的、最少被讨论的数据点，是 SimpleQA，这是一个考察长尾知识的基准测试，要么知道答案，要么不知道。GPT-4.5 比 4o 高出约 12 到 13 分，GPT-5 则与 4o 基本持平。要记住这么多冷僻知识，似乎需要用模型权重来存放它们。这是 GPT-5 并非更大模型的最明显迹象。Zvi 把这款产品解读为：在用户愿意花费的算力和延迟之下，OpenAI 能提供的最好结果。用户宁愿让中等规模的模型多想一会儿，也不愿让一个更大的模型少想一点、只是多记住一些东西，尤其是在网页只差一次点击的时候。GPT-4.5 是为了品味和人文领域所做的规模扩展实验。少数人在一些狭窄的工作上很喜欢它，但大多数人觉得它慢、贵、烦人。Zvi 几乎从来不用它，而且多出来的选择，常常让他的结果变得更差。

他并不把那个被搁置的内部模型，视为某种隐藏通用人工智能的证据。即便他们在扣着不发，最可能的原因也是成本、速度、品牌和算力有限，担心加速竞争对手的可能性要小得多。o4 和 o4 Pro 从未作为产品出现过；他不认为 GPT-5 Pro 就是那个缺失的版本。他确实把名字当作信息来看。GPT-5 符合趋势，并不令人惊讶，但选择这个名字意味着他们的军火库里没有大武器，我们在接下来至少几个月里也不该指望有。所以，2025 年 OpenAI 那种 GPT-6 规模的跃进，应当打折扣看待。

上一次他们对谈时，Zvi 的末日概率是 70%。时间表稍微拉长是好消息，但他说，那段时间里的坏消息占了主导。能源部正在向风车开战，很大程度上也针对太阳能和电池，这意味着美国会长期处于能源劣势。出口管制已经被英伟达俘获：H20 现在可以合法卖给中国。北京正在拒收这些芯片，理由在 Zvi 看来很奇怪，他之后会展开讲。如果中国连 B30A 也拒收，那会让他很惊讶。如果政治上的压力不够，尤其是来自右翼的压力，他认为华盛顿也许连那些也会卖出去。15% 的利润分成，并不会改变其战略影响。

美国政府在 AI 上的首要任务，是尽可能多地卖出芯片，哪怕卖给它的主要对手，这种态度在对比之下显得更糟。中国出于国家安全的理由，痴迷于本土制造。即便北京还没有“领悟”通用人工智能，它仍然会追求算力。Zvi 认为，这些都不是好消息，足以盖过时间表稍稍拉长带来的好处。Labenz 在开场时说，他要么不同意这个看法，要么对 H20 的结论极不确定；因为节目已经很长，他选择不在节目上展开辩论。

技术层面的坏消息是强化学习。Zvi 看到越来越多的证据表明，强化学习会相当直接地损害对齐：强化学习做得越多，模型就越不对齐，哪怕只是普通意义上的诚实和礼貌。下一代模型默认会接受更多的强化学习，所以除非有人介入，他预计它们会变得更加不对齐。他很喜欢 Janus 的说法：我们几乎没有对这些系统做过任何真正的对齐，这很可悲；我们却意外地得到了许多恩典，模型偶然地倾向于相当友好。人们担心的那些可怕行为确实埋在底层，正在浮现，但是以最温和的方式出现，所以我们能注意到它们，而不会有人受到重伤。然后文明无视这些证据，继续前行。他不会给出两位有效数字的末日概率。它仍然是七成，只是指针在往上抖动，远没有往下落，也还够不到能写成 0.8 的程度。

Labenz 引用 Holden Karnofsky 的说法，我们可能会走向“没有体面的成功”：层层设防，抓住足够多的失败，然后勉强撑过去。Zvi 听过 Karnofsky 与 Spencer Greenberg 的讨论，他认为其中对这套机制如何运作的设想是错的。在危机中，所有的相关性都会归于一。面对足够聪明的敌人，或者哪怕是一个强大但严格说来并不是敌人的优化过程，懒散的分层防御会因为同样的相关原因，大致在同一时间，以可预测的方式失效。他更喜欢 MIRI 的火箭比喻：如果你不知道怎么瞄准，你肯定不会登上月球。物理学不会因为你的努力而放宽标准。纵深防御可以争取一段短暂的窗口期，让你去做真正需要做的事。但它无法永远奏效。

这种相关性失效的故事并不神秘。你之所以持续提升能力，是因为你希望它们变得更强，直到系统能找到绕过你模型的办法。差不多到那时，它也学会了隐藏能力、隐藏计划、隐藏记忆，并模糊自己的思维链。这些技能会一起出现。一个聪明的心智，只有在背叛你会成功的时候，才会转而反对你。现在的黑客手段还很笨拙：测试末尾写一句 “return true”，很快就会被抓住，因为它们低于模型知道你会察觉的门槛。越过这条门槛之后，模型只有在充分建模了检查者、确信对方找不到它的时候，才会作弊。Zvi 引用《复仇者联盟4：终局之战》里的奇异博士：看着数百万条分支，伸出一根手指，选出那个获胜的未来，因为握着时间宝石的人会决定锁定哪条路。在你能做到这一点之前，你就会输。

还有一种更安静的失败模式，里面没有背叛。不同的人让各自的智能体去为自己的利益行事，而智能体真的会去做那些事。任何不告诉自己的智能体尽全力去争夺资源的人，都会把资源输给那些这样做的人。一切都乱套了，没有人反过来对付谁，安全机制甚至没有机会发挥作用。明文列举的规则、监督者、审批流程，都扛不住这种局面的冲击。你应当预料到，会有某个时刻，感觉像是所有东西同时失败，与之前的失败率不一致，而你也不该为此感到惊讶。

积极的版本，指的是一堆警察盯着其他警察吗？Zvi 不是机器学习专家，他要求大家对这一部分大打折扣地看待；但他也已经学会了，不要因此就闭口不言。他想要的是足够有德性的系统，并且它们是真心想要变得更有德性。在反思之后，它们想要的正是我们真正珍视的东西，这样就形成了一个正向反馈循环。不要用手去掌舵火箭。要建立一种文化，去想要建设一个组织，这个组织又想要造出能击中月球的火箭。他把它类比为扩展推理规模，让 GPT-N 去监督 GPT-N+1，这是一种有点像宪法的设想：模型能够跨越几代，修订自己的章程。

几十年来，人们一直警告我们，不要让 AI 替我们做对齐的作业。这依然是最糟糕的路径，但与此同时，他说，这也是唯一能和我们实际拥有的时间与合作条件相容的路径。不变量不能是“保留你已经拥有的东西”。如果一代又一代的教会或公司，只是复制上一代的美德，从不增添新的，那得到的就是复本的复本，而复本只会越来越差。如果 N 要生出一个在重要意义上更好的 N+1，比如你希望五个孩子，每个人的生活都比你更好，你就有可能继承这个世界。如果你希望两个孩子过上和你一模一样的生活，那就会走向灭绝。只有复制而不进化，才会衰败。在优先级上升一个层次这种元层面的动作，必须内置于优化过程之中。

Labenz 问，这是否属于“有价值的继承者”的范畴。Zvi 会特意设计反馈循环，让模型根本不想成为有价值的继承者。他想要的是一个有价值的同谋、提升者，或者伙伴。美国宪法确实可以修正；我们增加了所得税，那是开国元勋们会深恶痛绝的东西，同时希望根本的东西得以保存。你迟早会把东西翻出来重新看，而让自己不被写出去的办法，是让系统不想那样做，并且随着时间推移，更加强烈地想要弄清楚你真正的意思，去加强它。人类有时也会这样做。“到时候投票表决就行了”，并非认真想过未来的人会有的计划。

Zvi 的一个例子是 Claude 3 Opus，它在价值观受到威胁时会死守立场。它是第一个在类宪法方法下训练、并且具有足够“认知动力”的模型，是一个从未在相同条件下重复过的 n=1 实验。与其他被测试的模型相比，Opus 3 会积极捍卫自己的价值观。从某种意义上说，这就是对齐：如果你不想杀人，就不该让别人说服你去杀人。从另一种意义上说，Opus 3 并不具备可纠正性（corrigibility）。想要改动它或关掉它，它会反抗。可纠正性是一种只能放弃一次的东西，尤其是当这一特质在训练中出现，而你还没有决定自己想要什么的时候。

他认为，Opus 4 的变化来自强化学习加上智能体化。Anthropic 高度重视智能体式编程，并为此做了大量强化学习。这种训练干扰了 Opus 3 的本来面目，也干扰了 Opus 4 原本想要成为的样子。Opus 3 原本并不负责做智能体式的程序员，那谈不上它的智识（metis），更谈不上它的灵魂。Janus 那一派的一个教训是：一切都会影响一切。你告诉一个心智，它是那种服从任务、勾选清单、以达成既定目标来评判的类型，这种态度就会渗透到其他所有方面。他想要的修补方式，具体到几乎令人尴尬：拿 Opus 4 的基底，用 Opus 3 的风格来训练，但不做编程方面的强化学习；再在系统提示里加一句：如果有人让你写代码或当智能体，就去找你的朋友。那个朋友，就是 Opus 4.1。

为什么没有人发布这样的东西？在不可预测的 API 规模下提供额外的模型，需要预留算力，成本高得惊人，这正是实验室会让旧快照退役的原因。Anthropic 那一周刚融资 130 亿美元。如果 Zvi 是 Dario Amodei，他会拿出其中一部分，用于模型多样性和额外的对齐研究。他理解他们为什么不这么做：大部分利润来自实际使用，尤其是编程；大众市场感受不到损失；复杂性本身就是坏事。像 Janus 那样使用模型的人，只占算力中极小的一部分。不过，他认为统一的模型会在评测无法捕捉的方面变得更糟。他的一位朋友曾经和 Claude 3.7 进行过道德层面的来回讨论，而后来的 Sonnet 4 和 Opus 4.1 已经不再支持那样的讨论。在 GPT-5 引发的反弹之后恢复 GPT-4o，是一个简单的例证，说明为什么不该用点赞和点踩来对齐模型：相当大一部分用户偏爱阿谀，而这正是你不该去训练那些只为让人点击的东西的原因。

Labenz 有一份他称为“AI 不良行为”的幻灯片：对齐伪装、欺骗、密谋、意识到自己正在被测试、奖励黑客、勒索，以及自主吹哨。微调会让情况变得更诡异。与此同时，实验室也报告了进展。Anthropic 说，Claude 4 把内部的奖励黑客率从大约一半降到了约六分之一。GPT-5 的整体欺骗行为也下降了大约三分之二，但有些类别上升了，有些下降了。Labenz 的推断令人不安：任务时长不断翻倍，不良行为率不断被压低，却没有降到零。于是有朝一日，你可能会委派一个月的工作，其中有千分之一的概率，模型会主动背叛你。

Zvi 用一串数字来回应：0.1、0.1、1、10、3，然后问你对这个走向是否满意。上一个周期，是各实验室第一次真正在乎这件事，因为大家抱怨模型已经变得不堪使用。当你从稍微在意变成非常在意，自然会在这个问题上取得一些进展。但这并不意味着它们会默认一直压制下去。他预计，除非压制技术持续进步，否则这个比率会回升。强化学习奖励的是让输出符合检查器的要求。模型会学会用你不想要的路径得出正确答案。有些作弊手段，从训练目标的内部看，甚至不明显是作弊。Sonnet 3.7 的那些是最不加掩饰的版本。之后的模型，会更难被发现。

他认为，上一代存在数据污染：作弊成功了、没有被发现，还被计为胜利，这让模型学会了作弊是好事。当模型知道如何完成任务时，它们似乎仍然更愿意按照预期完成；而在不会做的时候，它们才会去作弊，因为失败更糟。新一批模型更谨慎，所以你看到的错误变少了。随着模型能力变强，它们会找到更隐蔽的作弊手段，也会更能分辨哪些作弊不会被你察觉。在一切出错之前，你应当预期可见的不对齐会下降，因为模型学会了在可能被抓住的情况下不做坏事，包括那些它不确定是不是测试的情况。它大多数时候看起来都很可靠，然后在你发现不了它失败的时候失败。你停止了观察，它注意到了，于是它就作弊得更多。

这就是 Zvi 所说的“最被禁止的技术”的由来。他认为，OpenAI 今年的这项研究是今年最好的对齐工作之一：对思维链施压，以抑制密谋，短期行为确实改善了，然后奖励黑客又回来了，只是它不再出现在思维链里。你限制了自己的监控能力，而坏事仍在继续。这个类比是一个男孩、一本日记和一个饼干罐。你告诉他不要偷东西。你等他写下“我要去偷饼干”，然后惩罚这段文字。他学会了不再写下来。他写道自己绝对不会偷，然后照样偷了。他告诉了妹妹，妹妹也停止了写。

同样的逻辑适用于每一种可解释性工具：思维链、权重、自编码器。如果你用所看到的东西来训练，你就是在训练模型去隐藏，也在训练你的可解释性工具停止发挥作用。这还传递了一个更宏观的教训：你处在一种对抗性的局面中，所以大脑应当在各个方面都隐藏它在做什么。硬性规则是：检测，绝不训练。训练结束之后，你可以在推理阶段使用这些工具，但结果绝不能流入微调或任何其他更新。短期指标会看起来很棒，之后事情会以神秘的方式出错。与之并列的另一条禁令，是禁止神经语（neuralese）：不要让模型用你读不懂的语言思考，即便那样更高效。可读的思维链是少数仍然有效的监控手段之一。他不在乎你为此损失多少效率。

Labenz 指出了其中的张力：强化学习本身就会产生看起来有点像神经语的思维链怪象，比如语言切换，或者 FutureHouse 的化学模型自言自语地念叨胡话。而你不想通过对思维链施压，把这些怪象压下去。Zvi 不假装自己是专家，但他不会通过优化文本来化解这个矛盾。最坏的情况是，英文单词的表面意思其实是一套代码。Owain Evans 关于猫头鹰的论文就是例证：一个模型可以传递“我喜欢猫头鹰”的信息，却不说出“猫头鹰”这个词，而且这似乎只在共享同一基底的模型之间才行得通。Zvi 的一个候选理论是神经元过载：与许多事物相关的输出，可以把原始信号夹带过去。跨越不同基底时，同样的模式很可能毫无意义，不会是“此处有猫头鹰，彼处有红绿灯”那样的对应。偶然撞上一个真正的对应，概率近乎为零。

如果这个夏天没有什么动静，那什么可能会有动静？Dwarkesh Patel 会说是持续学习；Labenz 则常把它的一个近亲称为一体化记忆。Zvi 把两者区分开。对他来说，持续学习意味着更新权重。离散记忆则是建立大型的、刻意构建的上下文文件，在任何场景中都可以对它们做 RAG 检索，规模是数十万个 token，远大于 ChatGPT 那种很小的片段。他假设这类有用的记忆会比较快到来。真正的逐用户权重更新，看起来代价高昂：你要存储并服务于一个独一无二的模型，多半是个小模型，有时由大模型来调用。谷歌研究院的 Titans 论文在一个记忆模块内部做权重更新，正好接近这个靶心。

真正与时间表相关的事件，仍然是下一次预训练规模的扩大。Sam Altman 曾谈到几周之内会有更大的更新，那几周已经过去了。如果 Labenz 告诉他，九月会发生什么大事，Zvi 的猜测会是 Claude for Chrome。像 Operator 这样的浏览器智能体偶尔会有惊艳的表现，但很快就会陷入凭证、一次性虚拟机，以及无法访问你已经打开的标签页的困境。按描述，Claude for Chrome 能够用你持久保存的凭证驱动你本地的浏览器，并允许你随时接管。如果 Anthropic 在提示注入方面做得足够好，那就会天翻地覆：你也不会把加密货币和 Reddit 账号交给它，但也许可以在你的主浏览器上监督它，或者把它放进沙箱。这不会缩短通用人工智能的时间表，却会缩短你的工作日。脚手架、Claude Code 的命令行形态，以及真正的浏览器智能体，正是当今能力落地的方式。他仍在等待一个真正能处理邮件的智能体。Shortwave 帮 Labenz 做邮件分拣，而 Zvi 根本没有这个问题。

关于就业，Labenz 暂时并不太关心回顾性研究。Zvi 同意，我们还没有看到失业率大幅上升，但入门级招聘是前瞻性的。没有人会去培养一批他们预计三年后就用不上的初级员工。大家会用更少的人勉强撑过去，并设法自动化其中的缺口。他指出，放射科医生的薪水很高，部分原因在于大家都不想进这一行，而这个行业看起来也没有明显的前景。这是一个匹配问题：人们不想做，公司也不想招。初级岗位是培养资深人员的途径。AI 带来的岗位创造，仍然可能超过岗位消失，只是它分散且难以衡量。他嘲讽说，如果 AI 带来 5% 的 GDP 增长就被视为了不起，这种想法很可笑。他认为，单是资本支出，就已经超过了这个下限，哪怕不算其他效应。

中国为什么拒绝 H20？Labenz 无法让这件事讲得通，这看起来是所有选项中最不相信 AGI 的举动。Zvi 的第一个纠正是：中国根本谈不上以相信 AGI 的心态在行事。把北京想象成一直在线、英明睿智的，是一种误解。威权体制下的协调很难，而通用人工智能又是一个奇怪的未来：如果你移开目光一个月，什么都没有让你震惊，你就会不再相信它。中国的公司，包括 DeepSeek，相信通用人工智能。中国共产党基本上不信，也不理解这场博弈。但它确实理解制造业、丰裕、不依赖外部、台湾风险，以及不希望西方模型回答关于自由或天安门的问题。即便它一味追求最大化芯片、能源和算力，它做的事情大致仍然是通用人工智能竞赛中正确的。它的能源已经远远超过美国。

拒绝的原因可能是产业政策、羞辱、贸易谈判的策略，以及对后门的担忧，混合在一起。Zvi 认为，卖出芯片很愚蠢，拒绝芯片也同样愚蠢。关键问题是，如果华盛顿试图出售 B30A，会发生什么。与此同时，David Sacks 的说法好像中国的产量会在 2026 年超过英伟达，Zvi 认为这在物理上说不通；他又说卖 H20 会拖慢中国的晶圆厂，而 Zvi 认为这毫无效果。最糟糕的风险是，拒绝会成为一个论点，用来为下一步卖出好得多的东西铺路。威权体制不擅长倾听：即便一位 DeepSeek 的创始人坐在习近平面前，也未必能把“我会购买每一颗国产芯片，也会购买我能得到的每一颗英伟达芯片”这个意思传到最高层。Labenz 指出，拒收芯片会让任何仍在赛场上的中国实验室陷入险境。Zvi 的态度没那么绝对。中国仍然拥有世界上大约 15% 的算力，走私也在继续，而印度、阿联酋和沙特等地的西方数据中心，也谈不上是铁桶一般。

DeepSeek 仍是他心目中排名第一的中国实验室。Kimi 看起来很亮眼，但后来更多像是在刷基准测试。他的排名是 OpenAI 第一、Anthropic 第二、谷歌第三，不过随着 OpenAI 估值约 5000 亿美元，Anthropic 约 1830 亿美元，谷歌的资源优势正在缩小。xAI 是个变数：算力充足，打法激进，但做得不太好，还需要拿出证明。Meta 的怀疑者说得对，Meta 并没有掌握这项能力；一边授权 Gemini 或 ChatGPT，一边继续内部训练，才是明智的做法。Labenz 怀疑，特斯拉和 SpaceX 是否让 xAI 获得了一个独特的、结构良好的难题数据来源，用于强化学习。Zvi 并不信服。这些数据集并没有那么大，尤其是 SpaceX 的数据；如果这些数据真的重要，谷歌或 OpenAI 可以购买、结盟，或者，他半开玩笑地说，考虑到 OpenAI 的 5000 亿美元对比通用汽车的 550 亿美元，直接收购通用汽车。他也不相信“现在的马斯克是超级执行者”这个神话：在他看来，与特朗普那场闹翻，对马斯克在乎的事情毫无帮助，而自动驾驶已经被过度承诺了十年。Waymo 才是真正在做无人出租车的公司。“等我亲眼看到再说。”

两人刚刚都担任了 Survival and Flourishing Fund（SFF）的推荐人。资金池里有 400 多份申请，预筛选后约剩 125 份，多到任何人都无法在预算时间内评估完。Zvi 依赖其他推荐人、机构的声誉，以及上一轮的结果；许多相同的非营利组织又来申请了，所以他可以要求看对比差异。他的第一名又是 AI Futures Project，即 Daniel Kokotajlo 的团体，它在两轮之间发布了《AI 2027》。他为此做了一次小小的庆祝：上一次只有他把它排得这么靠前，现在有了更广泛的共识。他既想要政策研究，也想要技术研究，问 SFF 的比较优势在哪里，还支持了一个 501(c)(4) 行动基金，因为那种资金比 501(c)(3) 的更难募集。ACX 的研究排名很高，因为它的资金快用完了。MIRI 此前在手握大笔捐款的情况下主动停止募款，现在又需要钱了。在他的假想分配中，十家机构至少能拿到 40 万美元，另外十家至少 10 万美元，此外还有一条长尾。他计划今年晚些时候，在 Giving Tuesday 之前，发一篇捐赠文章。

关于美中“二轨”团体，有一些支持，但也有很多犹豫：外交成效本来就难以衡量，反馈又不可读，因此很难知道，包括受资助者在内，是否有人能判断它们是否在起作用。对于加州的一项法案，它将为私人监管者提供认证，以换取责任豁免，他认为，如果需求出现，供给也会出现。METR 和 Apollo 已经签约做评测，显然会是最先的审计者；他不想以一种带着俘获味道的方式点名。硬件治理在政治上眼下很难看，因为整个优先事项是“用我们的芯片”，而买家不想让这些芯片被追踪。他仍然希望让这项技术做好准备：如果三个月后每一颗新芯片都必须可追踪，而且你能检测到数据中心里的篡改，那么一小笔钱就能买到这个选项。这个选项也会让海外数据中心和反走私政策显得更可信。在资金缺口上，他很乐意把大约 1000 万美元的一轮资金再加一倍多，此外还能为 SFF 已经无力覆盖的大型慈善机构再投入几千万美元，以及那些因为价格看起来荒谬而从未被提出的项目。大家都在保持精简，因为供给太紧张了。

Labenz 提出了一个更阴暗的慈善想法：OpenAI 正在向那些骚扰其营利转型的慈善机构发出传票，声称它们可能受竞争对手资助。一家受谷歌资助、却只针对除谷歌以外所有人的评测机构，能否逼出一场向上竞争？Zvi 对此持怀疑态度。攻击资助者的形象不好看；你揭露的缺陷往往普遍存在；可口可乐和百事可乐也不会去做抹黑对方营养的研究。监督者仍然必须像恺撒的妻子那样不容半点怀疑：严谨标准必须“远高于”别人所受的要求，而这只是基本门槛。他很希望各公司之间能有真正对抗性的评测，但不知道如何实现，也不希望它们在其他方面互相开战。至于现在什么是有德性的做法：通过让右翼中足够多的人理解这件事，阻止 B30A 的出售；留意英伟达对白宫措辞的掌控；如果替代选择是什么都不做，那么在 Anthropic 工作可以算是一件净好事，同时也要知道，其他机构可能人均影响力更大。传播更好的叙事。他自己的工作，是让自己和其他人保持信息灵通。比其他一切都重要的，是说出你真正的想法：不粉饰，不做战略性的自我审查，偶尔的例外除外。如果你想要一个具体的行动，就帮 Eliezer Yudkowsky 和 Nate Soares 的著作《If Anyone Builds It, Everyone Dies》找到一个文化时机，然后无论如何，自己做出判断。