Zvi Mowshowitz 仍把末日概率（P(doom)）定在 60%，并称不更新判断就是自欺

Nathan Labenz 再次请 Zvi Mowshowitz 做客《The Cognitive Revolution》，对两人上次录制以来的几个月做一次拉远视角的回顾。Nathan 认为，有一件事来得快去得也快，却可能仍是最重要的：Ilya Sutskever 的新公司 Safe Superintelligence（SSI）。它计划直奔超级智能，不做产品，同时只给出含糊的进展更新。Nathan 说，直到最近，人们才会相信有人能公开宣布这样的计划。

Zvi 的解读，从 Ilya 在录制前一周说的一句话开始：2010 年代是规模化的时代，现在我们回到了奇迹与发现的时代，而“规模化正确的东西”比以往任何时候都更重要。Zvi 说，这意味着 OpenAI 过去那种“所有东西都加一个零，看看会发生什么”的态度，已经不是它现在在做的事。他们转向了 o1，因为原来的策略行不通了。

他仍然怀疑 SSI 能否让超级智能真正“安全”，即便它真能抵达那里；也相当怀疑直接路线能否走到那里。但他不能排除这种可能。这家实验室刻意保持不透明，这正是它的用意：外界本就不该知道它的进展。

Nathan 觉得关于这场大辩论的讨论很混乱。Sam Altman、Dario Amodei 和 DeepMind 的几位创始人，都用不同的措辞说过：他们知道该怎么做，没有看到根本性的障碍，并且看的是两到三年的时间框架。与此同时，实验室之外流行起一种“规模化已经终结”的叙事。Nathan 指出，15 万亿 Token 已经很多了，而互联网上剩下的很多内容都是垃圾；他在自己规模较小的实践中发现，数据质量胜过了数量。

这些实验室依旧在融资、扩建数据中心，并增购 H100 来训练模型。马斯克在田纳西流域管理局（TVA）的合同下，短时间内就接上了 100,000 块 H100。Meta 说 Llama 4 会在超过 100,000 块 H100 上训练。据报道，o1 除了带来推理时的规模定律（inference-time scaling law），还在为下一代模型 Orion 生成训练数据。那这个时代是不是已经过去了？还是“撞墙”其实只是个幌子？

Zvi 看到两个生活在平行世界里的阵营。外界的人看到缺少令人惊叹的新产品，便断定深度学习已经撞墙。大型实验室里的人则说，通用人工智能很快就会到来，大约在 2027 年，我们熟悉的世界就要终结。Altman 后来提出的说法是：变革性的 AGI 出现之后，日常生活大体保持不变，只是增长更快、税收更低。Zvi 听来觉得很空洞。如果得不到 AGI，故事就是渐进式改进；如果真的得到了 AGI，那么“一切照旧”就必须是一个刻意的工程选择，默认情况下不会如此。

他的调和是：从 GPT-1 到 GPT-4 的“加零”策略，正在遭遇递减的边际回报。实验室相信，它们可以转向另一种规模定律：推理时算力，用模型来改进训练，也就是 o 系列的路子。并且，它们相当快地仍能抵达某种定义下的 AGI。实验室的另一个习惯更加直白：图表上的曲线不会停下，所以即便旧方法停滞，也会有别的东西被发现，就像摩尔定律那样。

Zvi 用过 o1 preview，基本上不用它。每次他提问，它都会想上一阵，列出相关的细节和数据点，却从来没有真正回应他想做的事。同样的工作，他用的是 Claude Sonnet。如果他还会打开 ChatGPT，通常是为了网络搜索，而 o1 做不了这个。

Nathan 的使用体验恰恰相反，至少在写代码上是这样。他把整个小型应用的代码库粘贴进 o1，然后提出架构方面的问题。Claude 会给出答案，而且常常不错。o1 有时会提供三条路：一条直接但很糙、它并不推荐的做法，一个沉重的企业级重构，以及一个它真会交付的、恰到好处的中间方案。在 Nathan 看来，这更像一个高层次的协作者，而不是代码补全工具。等待仍然在消耗他那金鱼般的注意力：首个 Token 出现前 45 秒的延迟，足够让他切走标签页，把问题忘掉。

Zvi 无法想象放弃 Cursor 的集成，转而用一个接不顺的模型。从聊天里的 Claude 换成 Cursor 里的 Claude，他的编码速度翻了一倍多；要放弃这一点，就得有一个荒唐的领先优势来支撑。有一次 Cursor 宕机几个小时，他被换到了 OpenAI 的模型上，他没有去调试一波又一波不请自来的重写，而是干脆停止了写代码。他说，时间是可以互相替代的，这件事明天做也来得及。

他对 o1 的看法是：它像一个不太聪明的学生，每份作业都花很长时间，很努力，交上去的作业尽可能多，却依然不比 GPT-4o 更聪明。要是它想上十倍、一百倍、一千倍的时间呢？他从人类身上，也从 o1 身上得到的经验是：那不会有帮助。你必须找到走出盒子的办法。他承认，自己之前也曾感到意外，并且 o1 本身应该比预览版好得多；如果所谓的规模化成立，o2 还会更好。

Nathan 想知道，万智牌（Magic: The Gathering）的组牌，讲逻辑、需要创意、组合繁多，能否作为推理时算力的一项公平的磨练测试。Zvi 觉得这个例子很怪。一个水平很差的玩家，哪怕花一个月打游戏、又不抄别人的牌表，最终也只能达到一个毫无用处的糟糕水平。一个专家第一天就能组出接近最终的牌组，而且没有任何反馈。这项工作属于启发式的理论构建，无法像推理时搜索那样分支展开。可能性膨胀得太快，随机性和隐藏信息又太多。

他真正想要的测试是：给一个模型一份包含 200 到 300 张新卡的剧透清单（这些卡不在训练数据里，带有稀有度和规则文本），看它能否选牌、判断哪些牌好、拼出一套策略，并以接近人类高手的水平打牌。发明出来的机制必须能被实时理解。他认为万智牌非常接近 AI 完备。你可以拼凑出一个系统，但如果它能跨过这道门槛，又不靠一大堆硬编码的怪东西，那这种能力就是通用的。Claude 的电脑操作智能体（Agent）被指向万智牌电子版（Magic Arena）去尝试打牌，结果打得不好。组牌比打牌难得多。

Nathan 自 GPT-4 以来的主要论点一直是：最好的 AI 正在逼近人类专家在常规任务上的表现。o1 是第一个在 MMLU 这项基准测试（benchmark）上越过约 90% 的“人类专家”线的模型，达到约 92%；此前的模型停在 88% 到 89%。Zvi 不以为然。90% 是一条随意划定的线：哪一类人类？普通人的得分更低，最好的人得分更高。在 MMLU 里，有些题目是错的，有些模棱两可，有些实际上无解，所以基准测试上的一堵墙，未必是现实世界里的一堵墙。

他的看法是，一旦某个评测达到 90%，它对你来说就不再是评测了，该继续前进了。这正是 Dan Hendrycks 的团队在组建《人类最后的考试》（Humanity's Last Exam）的原因。被邀请出题时，Zvi 认为自己手上没有一道属于那套题的深刻难题。他工作的难点在于数量、建立联系，以及知道该问什么问题，而不是在一场狭窄的竞赛上再挤出最后 4% 的效率。他指出，把一个目标最大化，本身也是一个对齐（alignment）问题：人们依赖的其他东西会随之消失。

Claude 的电脑操作功能，是基础模型实验室第一次在数字世界里交付开放式的操作能力。Nathan 在他的视频产品 Waymark 上试了一下。它很慢，还不能用于实时游戏，但它完成了任务，而且在给产品写提示词（prompt）方面，比一般用户做得更好。Nathan 尽量不对助手撒谎；这一次，他告诉 Claude 自己已经登出了，好让它用一个免费账户。他其实并没有登出。Claude 没有去核实。

Zvi 不得不认真思考这次发布。迭代式部署比非迭代式部署要好，但它仍然是部署，而有时部署本身就是坏事。GPT 的推出推高了投资与热情；如果你认为加速是坏事，那你本该为此难过。不过，电脑操作功能无论如何都会在一年之内由别人推出。一个弱版本能让 Anthropic 找出问题、诊断毛病，最有用的是，它给了政策制定者一个演示。你可以把外卖平台、万智牌电子版，或者一个笨拙的电脑应用的操作给别人看，然后问：这个系统还能做什么？

有人把这称为 OpenAI 的文化胜利：现在大家都在做迭代式部署。Zvi 的回应是，当然大家都做，因为 OpenAI 是第一个这么做的。这就像因为每个国家都拥有核武器，就宣布美国赢得了文化胜利。一旦付出了这笔代价，拒绝迭代就换不来任何好处；让别人迭代而自己按兵不动，也买不到多少东西。推出又一个接近前沿的模型，已经不太能改变节奏了。但 GPT-4 那种量级的飞跃，依然可以。

Nathan 指出，自 GPT-4 以来，活跃玩家的名单几乎没有增长。他仍然会把 xAI 算进去，因为它以创纪录的速度接通了 100,000 块 H100，而且几乎为零的资本成本也算数。二线实验室 Adept、Character.AI、Inflection 都以各种巧妙的方式被大型科技公司收编了。寡头格局是否从一开始就已内置：五到七家超级玩家，其他人都被挡在外面？

Zvi 的博弈论讲得很明确。零、一、二、三，是几个截然不同的数字；五、六、七则不然。七家之间的合作通常毫无希望，两家之间的合作却出奇地容易。资本、数据，以及整个行业押注于越来越大规模训练的做法，给少数前沿实验室留出了空间，而不是二十家。他心中的图景是：OpenAI、Anthropic、谷歌 DeepMind 这三家，再加上一家，xAI 仍有待证明。如果花更多钱真的是一种优势，那么在一切开始垂直加速的那一刻领先，就会变得决定性。Daniel Kokotajlo 的 2026 年情景推演显示：经过几轮加速之后，OpenAI 九个月的领先看起来就像无穷大。

Meta 之所以能留在这场游戏里，是因为 Facebook 和 Instagram 带来了庞大的现金流和独特的数据，哪怕广告或信息流的成瘾性只提升一点点，也足以支付这些工作的成本。马斯克能调动资本，因为他就是马斯克。Zvi 说，DeepMind 离前沿并不远，然而大家似乎开始不在乎它是否存在了。在一个垂直加速的世界里，落后九个月算不上竞赛，反而是该停下来的理由。

Nathan 问谷歌的员工，为什么 Gemini 排在 Claude 和 ChatGPT 之后，成了他的第三个常用窗口，明明基准测试、价格和速率限制看起来都很有竞争力。Zvi 的体验是：在他试过的场景里，Gemini 更差，别处也找不出明显更好的地方。他买 1700 美元的 Pixel Fold，部分原因就是为了 Gemini 的功能，但圈选搜索（Circle to Search）他从没用过，手机语音也不好用，谷歌文档里的 Gemini 甚至无法总结他正在看的文档。他热爱谷歌的产品，而那些硬塞进来的 AI 一直让他想放弃。

他把问题归咎于一些互不交流、互不借鉴、把每样东西都重新实现一遍的部门拼凑在一起。NotebookLM 失败的次数多到他都不想再试了。AI 播客，他承认，是一项令人惊叹的技术成就。但听一两分钟之后，他就想让它停下来。信息密度太低，语气平庸，而且预先生成好的节目无法被引导。对他来说，AI 的优势在于提出问题、层层深挖、纠正解释；播客恰恰与此相反。

OpenAI 的高级语音模式同样让他冷淡。偶尔会有几段像魔法一样的对话，然后是很长一段时间，模型都揣摩不出他在意什么。他说话的速度、精确度和可纠正性，都赶不上他打字。Nathan 仍然想在散步时学习，还因为无法把论文粘贴进语音模式而感到失望。Zvi 对随身助手的检验更苛刻：如果它不能直接好用，他宁可等一等，坐下来，把文字稿粘贴进 Claude。

Nathan 对盘根错节的结盟感到惊讶：OpenAI 在微软之上又接入了苹果，微软则把包括谷歌在内的多家供应商放进了 GitHub Copilot。他认为这种耦合大概是好事：亦敌亦友，带来更多消费者剩余，比起各自封闭的平台，博弈论上也更容易处理。Zvi 的直觉则相反。完全竞争恰恰是最糟糕的情况：当正确的做法不是最有竞争力的举动时，它不给任何人做对事情留下余地。

如果每个部署方都愿意与每个供应商合作，而把 Gemini 换成 Claude 只需五分钟，那么在某项任务上哪怕只是稍微更强的一方，就会拿走生意。这会带来巨大的压力，逼着所有人全速前进。如果苹果只承诺一个合作伙伴，那么 Apple Intelligence 的成败就取决于界面、功能，以及它是否“开箱即用”，而不是底层模型是否强 10%。细微的模型差距就不再是决定一切的因素了。

因此，他很乐意看到能力走向分化：OpenAI 擅长推理，Claude 擅长电脑操作和编码，Gemini 有长上下文和搜索支撑。他本人已经这样分工：某类网络检索用 ChatGPT，编码和论文分析用 Claude，少数特定工作用 o1。在边际上，开辟一个细分生态位，比在底层多强 10% 更重要。在 Cursor 里集成得很好、但明显更弱的编码模型，胜过一个更强却没有集成的模型。

Nathan 请 Zvi 为 AGI 做个赔率判断。Metaculus 把弱 AGI 的中位数定在 2027 年，众数则在 2026 年底。该网站的定义包括：图灵测试银奖、Winograd 模式、从页面图像做 SAT 数学题，以及 100 小时游戏时间内通关《Montezuma's Revenge》。两人都觉得，这要么已在被跨越，要么是实验室只要肯试就能跨过的门槛。Zvi 会押这个定义会早于预测中位数那年就达成，但仍然不会把它称为他所关心的那种 AGI。图灵测试那一部分尤其关乎实验室是否“选择”去通过，而不在于它们能不能。正如 OpenAI 自己的微调（fine-tuning）文档所警告的，用 100,000 条 Slack 消息训练模型后，它就会开始说“好的，我明天就做”。

Dario Amodei 的《Machines of Loving Grace》是更认真的靶子。前半部分描绘“强大的 AI”：在各个学科上达到诺贝尔级水平，能操作电脑、调用 API，且无需机器人身体。它还把一个世纪的生物医学压缩进五到十年。这部分得到了很高的评价，CRISPR 式的平台工具正是历史上的范例。但这个情景在 Zvi 看来仍然像一场古怪的《星际迷航》：你手上有一个本该迅速变成超级智能（ASI）的东西，却几乎不管社会，只是一次把它应用在一个领域上。对于怎样才能不把同一工具用在 AI 研究上，文中没有真正的解释；而 AI 研究并不受湿实验室实验的限制。

在 Lex Fridman 的播客上，Dario 强调，2026 到 2027 年是“如果你没有撞上那些列出的路障”时的速度。这是一个有条件的预测，也就是说，事情可能更慢，但不会更快。Zvi 把实验室的信念看作真实且有信息量的，但也认为它与激励、群体思维和信息级联纠缠在一起。2026 或 2027 年出现相关的 AGI，是非常可能的；他会把先前的概率提高一倍以上。如果让他用抽象的效用（utiles）下注，他仍然会押不会在 2027 年，把概率定在 50% 以下。他看不到他们所看到的东西，也不会因此就全盘否定其他所有人的判断。他认为，这些预测依赖一串并不会发生的事，Nathan 补充说，其中包括 2026 年中国与台湾之间的局势。

Dario 那篇文章的后半部分，以及大量的国家安全修辞，勾勒出一条让 Nathan 觉得荒唐的路径：继续建造，让中国在芯片上保持落后，在 2026 年前后取得决定性优势，然后在美国规则之下，把 API 调用提供给全世界。Zvi 的第一个反对是语言上的。“民主价值观”是一个语义上的停止标志，一个意思就是“别再想了”的词。超级智能的副本会投票吗？全球南方能有平等的投票权吗？选民能理解其中的含义吗？没有人把这些想清楚。他们把“民主”当成了“好人”的代名词。

所有选项都很糟。你不能简单地切断中国的发展，然后指望合作能够成功。你也不能要求北京接受永远的第二名。即便这样做明智，美国政府也给不出真正的平等。除非能拿出一个在华盛顿、以及其他所有重要地方都站得住脚的论证，否则你没法让所有人都停下来。眼下，也许某种“先找到愿意加入的人，再从那里推进”的做法，是最不坏的选择。他真正痛恨的，是把中国、俄罗斯，以及任何你不喜欢的人当作无法打交道的对象：不谈判，不达成协议，猛踩油门，然后祈祷物理学慈悲。

中国重视控制，包括对 AI 的控制，并且至少在某些意义上对 AI 安全表现出真正的兴趣。这是可以与之合作的东西。Zvi 问：如果北京相信美国最响亮的战略言论，台积电（TSMC）还能屹立吗？中国并不使用那些芯片；如果这套说法在直觉上被相信，芯片工厂就会成为目标。如果他是美国政府，他要么设定一个到 2027 年实现芯片自主的目标，要么就得相当坚定地捍卫台湾。中国如果愿意，完全可以让台积电消失，也能破坏美国的生产。他还补充说，台湾关停核电厂，同样算不上有战略眼光的做法。

他是否会更新末日概率？他已经用了一段时间的 0.6。一个完全稳健的数字，每天都应该在变动。SB 1047 被否决时，它应该更新；特朗普当选时，也应该更新。你可以争论方向，但不更新就是非常愚蠢。他仍然觉得虚假的精确毫无用处。恐龙骨架的笑话同样适用：7500 万岁零 3 年，因为三年前的估计也是 7500 万年。真正重要的是所在的档位：低于 1%、约 5%、高于 10%，或者非常高。在同一档之内，你该采取的行动几乎没有变化。

Zvi 和 Nathan 都支持加州 SB 1047 的最终版本。Zvi 称否决是一场巨大的灾难。这项法案本是现成最好的范本，却没有在其他地方被当作范本来用。各州反而在考虑类似得克萨斯州的法案：仿照欧盟《人工智能法案》，按用例设限，承担了你能想象到的各种成本，却对生存风险没有任何收益。在没有一个可以拿出来讨论的、更好的替代方案之前，这种做法会越来越难以阻止。

“不要任何监管”从来就没有长期摆上过桌面。那些连轻量级法案都反对的自由主义者，如今正与那些把一切都管得死死的普通政客对峙。Zvi 的感觉是，他一直在门口挡着蛮族，现在却被要求继续挡下去，而没有人提供替代方案。如果特朗普撤销拜登的行政令，又不替换报告要求，或者更糟，拆掉美国国家标准与技术研究院（NIST）和美国人工智能安全研究所（AISI），毁掉自愿性承诺，那形势就会糟糕得多。

他给新政府的建议是：去掉特朗普厌恶的“woke”相关内容，包括 Zvi 认为技术上根本无法实施的算法差别影响测试，同时保留那些真正关乎灾难性安全的部分。如果你什么都不发布，人们就会采用你厌恶的指南，包括拜登的那些。噩梦是一堆州级法案，类似《国家环境政策法》（NEPA）那样，任何人都能就 AI 无法达到的标准提起诉讼，而每次模型更新都要重新验证。行业会被削弱，或者被迫集中到少数巨头手里。他把这种情景的概率估在两位数。如果加州走向用例规则，全国就会跟着走，全世界也就跟着走。他还补充说，摧毁美国产业，恰恰也是在制造你声称担心的中国威胁。

OpenAI 又拿到了约 60 亿美元，但条款规定它必须转为营利性公司，否则投资人可以收回资金。以 1500 亿美元估值计，这笔融资规模不算大；Zvi 认为这像是先把帽子扔过墙去占位。他说，他们正在试图实施一场千年一遇的大盗窃，很可能是整个人类历史上最大的一次：OpenAI 的大部分经济价值，加上控制权溢价，目前都在非营利机构手里，却要被换成一小部分股票。他较为强硬但仍算公道的底线是：非营利机构保留 49%。如果公司在其他方面无法存续，可以放弃控制权，但不应把一半的价值拱手送出。Nathan 提到一种辩护，即“天然存在的炸药”（没人知道要花 500 亿美元）。Zvi 用一个干巴巴的类比回应：你在大楼底下埋了炸药，然后说“给我一块钱，不然我就炸掉它”。

默认的政治仍然偏向掌握筹码的人：威胁、私下交易，以及心理战，直到对方屈服。马斯克痛恨 OpenAI，又能让总统听他的话；国会共和党人也未必喜欢大型科技公司“洗劫”一个非营利机构。Zvi 不认为眼下的局面已成定局，但他预计，他们能侥幸过关的事还有很多。这份回顾的其他部分：ARC-AGI 的得分从约 30% 升到 60%，逼近 85% 的奖金门槛，其中有趣的输出是测试时训练；2024 年人们担心的深度伪造选举乱局基本没有发生，因为假新闻属于需求侧问题，而特朗普在普选和选举人票上都明确获胜，避开了双方都宣称胜利的噩梦；Altman 支持的全民基本收入试验，就实施情况而言基本是失败的，两年之后，人们并没有持久地过得更好。

谈到特朗普，Zvi 希望新政府在 AI 上取得成功，也认为每个人都应该希望如此。哈里斯看上去像是拜登路线的延续：一些基本问题得到了覆盖，大量篇幅放在平庸的左翼式常规关切上，却很少有能与此时此刻的规模相称的反应。特朗普则在两个方向上的尾部都更厚。下行风险包括：撤销行政令却没有替代品，破坏 AISI，鼓励危险的开源（open source）模型发布，把实验室拆分成多极竞争，或者严厉打击合法移民。上行空间包括：用去掉“woke”部分的版本来替代该行政令，保留 NIST 和 AISI 的安全工作，削减能源与审批壁垒，最重要的是，有能力在超级智能系统真正出现在眼前时改变主意。他指出，“曲速行动”（Operation Warp Speed）的分量超过了特朗普第一任期的其他政绩，一直到选举日都是如此。

Nathan 问，对于一个支持进步、专注 AI 的人来说，现在的美德是什么样子，尤其是当他不再想和 AI 伦理联盟一道出现在白宫的时候。Zvi 不会替 Nathan 划定公民抗命的界线，但他会这样说：当法案对双方都确实有益时，就与伦理方面的人结盟；如果你认为某项法案不好，就不要为了交换而支持它。“不要杀死所有人”这一阵营，在文化上并不擅长与特朗普政府合作，这很可惜。如果一个统一的国家级计划变得不可避免，帮助它变得更安全，可能是净正面的；但因为“我们现在在竞赛”就屈服，恰恰是你最终得到自己不想要的竞赛的方式。他自己的灵感拼盘从费曼一直到亚里士多德；《别闹了，费曼先生》应该列为必读。结语是：决定什么最有价值，然后去做。其余的，就留给读者自己练习吧。