一家公司比整个中国更让他担心：Zvi 绘制的 AI 前沿地图

同一个 GPT-4，三种截然不同的评价。Jan Leike 与 Ilya Sutskever 共同领导 OpenAI 的超级对齐工作，他曾表示，这个模型大致相当于一名博览群书的大学本科生。主持人 Nathan Labenz 常说它达到了人类水平，但并不像人。嘉宾 Zvi Mowshowitz 是《Don't Worry About the Vase》的多产作者，他认为 GPT-4 远低于人类水平。三人都不否认，GPT-4 是 2023 年夏天最强的系统，而且几个月内很可能仍会如此。分歧在于用什么尺子来量。

Labenz 以“活跃玩家（live players）”来组织这一集，指的是真正在推动前沿、有能力改变事态走向的少数几家机构。巡览的对象是 OpenAI、Anthropic、谷歌 DeepMind 和 Meta。在进入这些机构之前，Mowshowitz 想先把衡量标准的争议摆上桌面，因为 Leike 那个 4 年计划，要对齐一个人类水平的对齐研究员，只有在远比 GPT-4 强大的东西即将到来时才说得通。他说，让 GPT-4 去做对齐研究，能带来一点加速，也许是 50%，工具足够好的话甚至可能到 100%，但它代替不了一名研究员。

按 Mowshowitz 的理解，Leike 问的是：这个模型在一堆日常问题上，与一名普通的博览群书的本科生相比表现如何。这是一个合理的实际问题。Mowshowitz 问的则是原始的 G：无论人类还是人工系统，都有一条通用智能的底线；一旦问题所需的 G 超过你所具备的，难度就会指数级上升，然后直接归零。GPT-4 那片由每本书、每个 Reddit 帖子和每条推文构成的知识沼泽，让它在日常问答上碾压一个智商 100 的助手。但如果给一名大学毕业生足够的时间，去解决一个困难的新问题，比如对齐一个模型，他或许能取得进展。换成 GPT-4，同样的问题它一点也解决不了。

刚入职第一天的本科生，在他那刻薄的说法里是一件没用的废物，但它是能够学会成为某种东西的废物。GPT-4 缺少这条学习的通道。Labenz 问，记忆、检索和智能体包装能否填上这个缺口。Mowshowitz 预计，这些部件会在 6 到 12 个月内陆续上线，把模型提升到普通本科生的平均表现水平。但他坚持说，它们修不了另一种正交的缺陷：一旦你要求的东西真正原创、超出训练分布，系统就会垮掉。他拿《The Cognitive Revolution》节目里与好莱坞编剧有关的那段内容作为例证：GPT-4 为某部剧的第 47 集生成泛泛的俗套剧情，比编剧快得多。可一旦要求它做编剧们会认作真正有创造力的工作，它每次都会崩溃。

Mowshowitz 给 Labenz 更感兴趣的那件事起了个名字：日常实用价值（mundane utility）。即便是普通人，一天里几乎所有时间也都花在远未达到巅峰智力的工作上。总得有人填表、站在零售柜台前、兑现支票、保持礼貌。体力劳动也一样：如果一名工人必须长时间维持最大力量，这份工作几分钟就会把他拖垮，而这类工作如今大多已经不存在。你留一个强壮的人，是为了那些需要力量的时刻；留一个聪明的人，是为了那些需要思考的时刻。

关键在于这笔账。把工作最底层的 80% 做掉，并做到 80% 的水平，一天就有三分之二的时间空出来，产出可能翻三倍。Mowshowitz 同意，这正是 GPT-4 在人们学会使用之后真正能做到的事：从枯燥琐事中解放出几个小时，而不是解决人类从未解决过的问题。Labenz 对这笔红利的兴奋，超过了对那个假想中的对齐研究员的兴趣，Mowshowitz 也没有否定它。他确实列出了几个陷阱。自动化可能恰好落在没人想要自动化的任务上。文书工作一旦变快，机构就会增加更多文书工作，人们会一直忙到下班，做的却是更没用的事。GPT-4 只会变成一台更好用的跑步机。

如果你想要 Leike 所说的那种剧变，也就是能解决人类此前无法解决的问题的系统，模型就必须完成人类能完成的每一个步骤。否则，剩下的瓶颈会迫使人们付出高昂的转换成本：把上下文倒回人类世界，让人去完成模型仍然搞砸的那一步困难环节，再把结果翻译回来。这样得到的是 2 倍到 5 倍的收益，值得拥有，也没那么危险，但它本身不会解决对齐问题。超级对齐瞄准的是另一件事。Mowshowitz 的原话，正是 Labenz 在开场白里就准备好要引用的那句：这个项目想让人类完全退出回路，“这应该和它听起来一样可怕”。

Labenz 有一份公开的记分卡，他称之为“认知磁带”的东西。他在 AI 侦察报告里用它，从广度、深度、突破性洞见、速度、成本、可用性、记忆、扩散速度和“床边服务态度”等方面，比较人与最好的模型。Mowshowitz 边看边给记分卡打分。广度是模型最大的胜利：它能同时覆盖所有主题。深度比 Labenz 打的分要低，大约只有三分之一。突破性洞见仍然是人类大获全胜。实时输出大约快 10 倍；内部处理则快几千到几十万倍。只要模型有用，成本就已经偏向模型一边，哪怕公司还在亏本抢份额。

可用性即将变得古怪起来。Mowshowitz 说，算力正在从基本免费变成无法定价：你不能简单地多花钱就换来更多。单块 GPU 在 eBay 上仍然买得到，但工业规模的采购是另一个市场。英伟达并没有按出清价格定价，供给远远不够，获取渠道会偏向那些拥有正确安排的人。Tyler Cowen 那句“稀缺的是上下文”，在这里适用两次：模型拥有海量的事实型长期记忆，但在保持某个特定工作上下文上，远不如人类。“床边服务态度”则是两面屏幕。当模型围绕用户真正想要的东西进行优化时，它胜过任何人。当 Claude 或 Llama 拒绝回答时，它的态度是“负一星”：不给答案，却来一通社会正义的说教，这是除非想惩罚你，否则没有哪个人会做的事。这是 RLHF 的选择，并非自然法则。

然后他加上了 Labenz 没有的几列。第一列是处理真正的新东西。图像模型把这个失败暴露得很明显：一张脸、一种风格、一个动作，都没问题；但需要相互作用的重叠元素，会立刻丢失线索，这就是为什么大量 AI 艺术会重复，也是为什么局部重绘（inpainting）某个区域，往往比重新生成整幅画面更明智。语言模型在氛围（vibe）上有同样的毛病。它们记得事实，但一次只能维持一种氛围，同一个提示里的多项任务会互相渗透。Mowshowitz 说，他还没见过认真解决这个问题的尝试。第二列是稳健性。一位写代码的朋友 Allan 试用了这些工具，他报告说，一旦工作离开训练分布（而在他的工作里，这恰恰是关键），错误率就会让模型比自己动手还慢。

第三列是对抗稳健性，在这一点上他为模型辩护。用越狱来评判模型并不公平，因为攻击者拥有人类从未面对过的条件：无限多的克隆，每次失败后重置记忆，一直试到秘密被吐出来。“我保证我能拿到你的炸弹机密。”他对 Labenz 说。一篇关于通用对抗攻击的新论文发现，某些后缀字符串可以在 Llama、Bard 和 GPT-4 之间迁移，GPT-4 甚至能写出其中一些攻击代码。进攻远比防守容易。Labenz 把两行新数据记进记分卡，分数又回到了 OpenAI 这一边。

Labenz 注意到，Mowshowitz 和 Leike 大概会同意 GPT-4 今天能做什么；Mowshowitz 说，他几乎会毫不犹豫地相信 Leike 的经验性预测，因为 Leike 离技术一线更近。真正起作用的那次更新，并不关乎能力预测。它来自 Leike 在 Mowshowitz 博客上留下的一条长评论。Mowshowitz 称它是他在那里见过的最好的评论，也可能是那类博客上最好的评论。在那一小撮可能影响人类命运的人里，Leike 排名“非常靠前”。他认真回应，没有回避，把一位独立写作者当成值得回答的对象，并且在好几处提出了 Mowshowitz 自己没有想到的观点。

有一点大家此前都弄错了，Mowshowitz 也不例外：超级对齐并不打算在 4 年内训练出一个人类水平的对齐研究员。它要对齐的，是那个会在它们的时间表上，从某家实验室里诞生的人类水平对齐研究员。当那样的系统出现时，OpenAI 想知道该拿它怎么办，把它控制住，并把方法分享给造出它的人，无论那是非营利组织、谷歌，还是别的什么人。在 Mowshowitz 的说法里，如果这条评论属实，这个项目就会从一个骨子里很可能是能力研发的计划，转变为一个明显的净收益构想。最坏的情况也随之改变：从主动制造可能杀死我们的东西，变成去尝试一件可能失败、给人虚假希望、却仍然会让所有人丧命的事情，而这“好得多”。原先宣传的 20% 算力，如今花在了一件有用的工作上；真正去培养那位研究员的工作，仍得由另外 80% 来完成。

据他所知，Leike 在大问题上的观点并没有因此改变。他得到的是一份证据：Leike 对这些反对意见的思考，比公开声明所显示的要深入得多；他读的时候是在找自己可能错在哪里，并非在挑选可以驳斥的引语。Leike 后来在 AXRP 播客上录了一集，内容密集到 Mowshowitz 讲了十分钟就停下来，拿起笔记本重新开始。DeepMind 的对齐研究者同样愿意谈论。Mowshowitz 想传达的教训是：如果你有一个技术论点，这些人会认真回应。这让独立批评者也有了参与的余地，尽管他仍然“对所有相关人员的计划深感怀疑”。

Anthropic 是由从 OpenAI 离开的 7 个人创立的。两家公司之间的公开关系，比“分裂后相互竞争”的故事所预示的要温和：它们仍然交流，仍然联名发表声明，仍然彼此尊重。Labenz 想要一个信号，用来判断两家实验室是否比一家更好。Mowshowitz 没有这个信号。在其他条件相同的情况下，他宁愿拥有 Anthropic，也不愿拥有 OpenAI，因为 Anthropic 建立起了真正认真对待危险的文化。如果说 Vox 那篇人物报道让他担心什么，那是相反方向的东西：一种不健康的恐惧程度，可能会滑向瘫痪。这种文化作为第三家公司存在，代价是三马赛跑。正在筹集的资金，是为了打造有史以来最好的模型，这默认会迫使谷歌和微软与 OpenAI 的组合跑得更快。

“牧羊人越多，本身就越糟，”他说，即便新来的牧羊人相对不错。Anthropic、OpenAI，以及程度稍低一些的谷歌 DeepMind 之间的协调，是一个充满希望的抵消因素：它让未来的协议仍然可以想象。如果 Anthropic 的创始人当初能从内部改造 OpenAI，结果会好得多。他不会热心地给他们额外的几十亿美元或额外的能力。他很想拥有一家自己足够信任、能与之分享技术想法的公司，但目前没有。也许非营利组织和理性主义圈子里的个人可以。Anthropic 是最接近的公司，但仍然不够近。

在他看来，宪法 AI 是 Anthropic 最大的贡献，但他有很强的先验判断：它无法规模化。对于 GPT-4 级别的系统，如果做得好，它是个好主意。但对于人类水平和超人类水平的系统，当前这类技术无论如何都无法带来人们所希望的东西。他脑子里有很多改进 Anthropic 实现的办法，却不打算说出来，因为他不想鼓励一个他认为仍会失败的东西的更好版本。他更希望看到更多只做对齐、不推动能力的研究机构。他自己也“有几件事在进行中”，但还太早，不能公布。另外，Anthropic 发布了一篇安全实践文章，内容几乎与 AI 无关：敏感生产系统的解锁需要双人控制，就是核潜艇的那套模式，只是没有核的意象。Labenz 把它记为一个认真对待实体安全的活跃玩家。

拍摄那一周发表的一篇论文，发现了一些无意义的 token 后缀。把它们附在一个被拒绝的问题后面，就能让经过 RLHF 的模型给出回答，也就是越狱成功。这种攻击具有可迁移性：它在 Llama、Bard 和 GPT-4 上多数时候都能奏效。在 Anthropic 的 Claude 模型上，成功率约为 2%，低了一个数量级以上。Labenz 把这看作宪法 AI 的一次真正胜利，而且这次攻击很可能是实验室事先并未专门防范的。Mowshowitz 则更冷静。针对某个系统训练出的攻击能在那个系统上奏效，他并不意外。关键在于它能在 Llama、Bard 和 GPT-4 之间迁移，而一旦注意到这些模型都用了相似的 RLHF、相似的目标和相似的评测，这件事就没那么神秘了。相似的肌肉，相似的瘀伤。

Claude 主要是用宪法 AI 训练的，这种方法每一轮的成本更低，所以它的后训练循环几乎肯定大多是宪法式的。另一种训练方法并没有锻炼到同一块奇怪的肌肉，所以同样那堆混乱的字符拼盘大多失败了。这是有希望的，但还不是定论。能改变他看法的测试是：拿论文里的搜索流程，在 Claude 上运行，然后找不到同一类型的新漏洞。在此之前，那种“本不该迁移”的攻击，只是没有迁移成功。他还怀疑 OpenAI 是否已经在暗中运行一套宪法 AI 栈。这篇论文很新；GPT-4 的后训练可能早在它出现之前就已结束；把互不兼容的对齐方法叠加在同一个模型上，会产生古怪的结果；而 OpenAI 有足够的钱，可以继续购买人类反馈，据报道包括来自非洲的标注员；而在美国和加拿大招人的 Anthropic，则有更强的动机去实现自动化。

Claude 2 在他日常使用中的真正产品问题，是它怕自己的影子。它会道歉、退出，并且拒绝推测。他现在把它当作第一道过滤器：如果它拒绝，他就把同一个提示粘贴到 GPT-4 里，通常十秒钟就能搞定，尽管 Claude 的训练截止时间更晚。论文中的宪法，以及 Anthropic 选择公开的例子，让失败模式一目了然。几十条规则都在说“选最不 X 的那个”；模型永远不会达到“足够不种族主义”的程度；拒绝始终是可选项。他打了个咖啡的比方：如果送咖啡得 1 分、搞砸得 0 分，那么理性的策略就是准备四杯咖啡、走四条路去办公室。一个只惩罚搞砸、从不奖励把工作做好的系统，学会的就是什么都不做。宪法 AI 本身并不强制要求这种超级无害的助手；是 Anthropic 选择了那部宪法。如果他们为下一代募集数十亿美元，就得决定是否继续让产品变得更没用。

Anthropic 的另一个差异化优势，是免费提供 100,000 token 的上下文窗口。Labenz 为这一集列提纲时，把 Mowshowitz 的整篇文章粘贴进消费级 Claude，只问一句：最重要的要点是什么？因为这些文章放不进 GPT-4。他仍然先在手机上通读了它们，没做笔记；模型只是记忆辅助，而非替代品。Mowshowitz 则在做另一个实验：一个很长的 Claude 对话串，不新开任何对话，看看随着上下文不断积累会发生什么。在他听来，Anthropic 的赌注是：一旦模型“无害”了，额外的上下文就能把有用性找回来。

Anthropic 另一项关于思维链和任务分解的结果，与前面的氛围理论相吻合。最高的准确率和可靠性，来自离散、彼此隔离的调用：只做这件，然后只做那件，最后再拼装起来。从业者常用的那种让一次生成顺序完成许多工作的超大提示词，表现要差得多。Labenz 怀疑，子电路是否会被拥挤的上下文淹没。Mowshowitz 说，他本来就能预测到这个发现：给模型两个任务，它只能在两者的总体上形成氛围，就像图像模型在两个场景重叠时会出错一样。速率限制和 API 定价，已经训练用户一次性要求所有事情，然后去喝杯咖啡。更好的做法是，把任务拆成尽可能小的部分，也许可以先问问模型该怎么拆。人在被细致指导时，也是同样的道理，只是不必考虑后勤。Elicit 是一款文献综述产品，来自早先与 Andreas Stuhlmüller 和 Jungwon Park 的一集节目，它正是建立在这一原则之上：许多小而可审计的步骤，有些跑在微调模型上，有些跑在前沿 API 上。

一个所谓的 GPT-5 会不会扭转这一结果，因为更多的上下文终于有用了？Mowshowitz 说，模型不会因此与自己的劳动相疏离；问题在于，任务的各个部分是否真的需要彼此的上下文，还是额外的上下文只是干扰，让氛围相互冲突。他预计，即便没有新的科学突破，一两年内也会出现一个路由层：先对查询分类，判断是否需要拆分，再把每一块发给专门的模型，这样就不必为一项狭窄的工作支付 GPT-4 的价格。至于 Anthropic 那段悬而未决的个人问题，比如像 Labenz 这样的人是否应该去那里做红队工程师，Mowshowitz 的态度是有条件的赞成：只做对齐，不做能力；出了问题就站出来；随时准备辞职；并愿意向世界解释原因。红队测试是最明确有益的工作之一。这场访谈是双向的。他仍然不会为任何公司做能力研究，也仍然不会把能力研究的想法交给任何公司。

谷歌 DeepMind 这一周的情况，像是一年前的重磅消息，又像是日历今天才追上来。RT-2 把语言模型放进回路，让机械臂直接输出指令：把这个物体放到丹佛掘金队的标志上，从一桌玩具里拿起那只灭绝的动物，拿出恐龙。两年前，这会让人觉得像《杰森一家》。Mowshowitz 的评价是温和的好消息。你本来就知道语言模型能理解这些指令，机械臂也能执行这些动作；把两者结合起来，是迟早会出现的下一篇论文，算不上新的怪兽。他玩的是一个“好消息还是坏消息”的游戏：如果你以为机器人学会永远神秘，那每一点进步都会让人惊吓；如果你知道它只是另一项终究会奏效的技术，那么这个结果没什么问题，甚至对不想让能力冲刺的人来说还有点令人安心。“AI 没有身体”从来都不会是拯救任何人的屏障。它至多是一种暂时的不便，迫使系统变得稍微更聪明一点。

Multimodal Med-PaLM 是 Labenz 乐于加速的那篇论文。Med-PaLM 2 在文本上，已经在 9 个评估维度中的 8 个上超过了医生的回答。这个新系统还能读取病理切片和放射影像，在超过 40% 的情况下，其放射报告被偏好于人类放射科医生的报告，两者大致相当。这一点值得留意：十年来人们一直说放射科会率先被取代，而近来的说法则是它至今仍未被取代。Mowshowitz 并不怀疑这个模型。他怀疑的是，瓶颈从来都不在模型质量上。他说，放射科医生被训练成了计算机，是因为我们以前没有计算机。障碍来自文化、监管、法律、合同和既得利益。Eliezer Yudkowsky 早先对奇点前增长的怀疑，说的也是同一点：我们早已知道如何建造更便宜的房子、更高效的医疗，只是不被允许这样做。如果放射科医生固执地把所有东西再核查一遍，并替换掉模型的判断，那么系统就帮不上忙，实验室也收不回训练成本。

跳到没有放射科医生的国家，并不是 Labenz 希望的那种轻松出路。那些市场规模小、又穷的地方，往往已经把市场信号从医疗中剔除了，而且没人愿意为一款富人自己都不会用的工具冒险站出来。Mowshowitz 把它类比为新冠：世界精英达成了共识，却没有人去做挑战试验。作为谷歌的股东，他对消费端产品的看法更直接。Bard 仍然“很烂”。Gmail 和谷歌文档的生成功能只是装饰。他把一篇文章粘贴进谷歌文档，要求做摘要，结果被拒绝：如果你连我刚给你的文档都读不了，你来这里做什么？邮件就更糟了：等他把请求说清楚，自己早就写完邮件了。诊断只需要一个字母：这些产品缺的是 G。在一个虚弱的内核外面做定制，帮不上忙。考试是 Gemini。Demis Hassabis 在 2022 年 4 月 Gato 论文发布后表示，他们已经在放大它的规模；一年多过去了，继任者仍然不见踪影。GPT-4 本身在训练结束到首次发布之间也隔了约六个月，而谷歌比 OpenAI 更厌恶风险。即使 Gemini 明天就完成，几个月的谨慎仍会留存下来。发布一大堆狭窄的论文，看起来像是在交付，但也可能是没有交付那件最重要的东西。

Labenz 引用了 Stability AI 的 Emad Mostaque 的话：领先者都是非经济行为者。OpenAI 公开表示要尽可能压低智能的价格。谷歌在捍卫它的既有业务。Anthropic 是以安全为先的玩家，看起来不像收入最大化者。Meta 把这种模式推到了极致：花费数千万美元训练 Llama 2，然后免费送出去。它们并没有直接放出一个未经处理的预训练检查点，而是做了红队测试和 RLHF，即负责任实验室的标准清单。Mowshowitz 仍然会脱口而出“蠢笨的灾难猴子”（idiot disaster monkeys），然后再去回答商业问题。这是在蚕食互补品：培育一套开源技术栈，去替代竞争对手的专长，让 Facebook 的社交产品在同一起跑线上竞争。安卓就是先例。另一种解释是，他们需要社区提供免费劳动力，或者他们在招募那群相信软件应该免费的部落。从“别让大家都送命”的角度看，他说，这件事简直疯狂。“开发前沿模型再把它开源，是你能做的最糟糕的事。”

如果美国对中国认真到要实施出口管制，它就不该把 Llama 2 当作开源产品发布。参议员们已经对 Llama 1 质问过“搞什么鬼”；如今他们应该问一个更大声的问题。Meta 的 Yann LeCun 和其他人，要么真诚地相信 AI 没有任何危险，“尽管这完全不合常理”，要么根本不在乎。Mowshowitz 不再做更多心理分析，只是指出，他们比自己提出的论点要聪明。扎克伯格对 Lex Fridman 说，未来的模型需要格外小心，但就目前而言，开源并不需要。Mowshowitz 的回应是：你在培养一个开源社区，以及一系列先例，它们将在以后向你施压。Labenz 算不通这笔账。OpenAI 受 GPU 限制；token 的用量也不会崩塌。量化技巧和端侧改造，一个月之内就会被谷歌、OpenAI、Anthropic 和百度享用。Mowshowitz 同意。“我很高兴它们很烂。”如果 Meta 的水平能和 OpenAI 一样，我们就麻烦大了。

Labenz 反驳说，Llama 2 是第一个与 GPT-3.5 同水平的开源模型。Mowshowitz 并不反对，但他认为，这不代表 Meta 已经把它做到了极致。论文中的损失曲线还没有平下来；即使是 70B（700 亿参数）的版本，看起来多训练也还会有帮助。论文里公布的内容，每一步都像标准配方，带来的是边际增益，而所花的钱，多到足以让 Vicuna 或 Hugging Face 烧上一阵子。对齐工作既雄心勃勃、又粗糙，还是可选的。他听到过一些说法（他并没有刻意去找）：未经对齐的 Llama 2 在发布几天之内就出现在了网上。把模型微调到从不拒绝，是所有微调中最容易的一种：每一次“我不能”都负向强化，直到它不再说。想让原始检查点拒绝阿拉伯语，也可以，但这种限制撑不了多久。Meta 之所以是活跃玩家，只因为它肯花钱，并非因为它发明了什么。扎克伯格已经表明，他愿意把钱烧掉。

Labenz 还有另外半打名字。Character.AI 和 Inflection 有很大的预算，但在 Mowshowitz 看来，它们并不打算成为活跃玩家；它们“甘于消亡”，并以此赚钱，这他并不反对。xAI 是马斯克最新一次尝试，想把词句串起来，仿佛它们能说明什么关于对齐的道理。OpenAI 时代的好消息是，工程师们学会了无视马斯克的建议；如果 xAI 的工程师也学不会这一点，他们就做不出什么有用的东西。真正的疑问在于，xAI 能否拿到足够的算力，成为真正的对手。Salesforce 和 Replit 作为模型实验室，不让他担心。真正的变数来自各国政府：英国想召开全球峰会，既推动安全，也赢得声望；国会也开始跟上节奏；欧盟的规则将决定这是人人都能参与的游戏，还是只属于最大的公司。中国是最大的未知数。他听到的说法有两种：一种说它是一心要称霸世界的狂热分子，另一种说它的政权已经发布了指导意见，基本上约束了所有大模型的部署。美国没有人拿起电话去问，它们是否愿意在安全问题上合作。就像《奥本海默》里那样，真正在赛跑的只有“我们”。

把已公开的技术栈排个名，你要往下数好几家，Meta、微软，可能很快还会有 Inflection，才会碰到百度和文心一言。Palantir 不在他的威胁模型中，它不是底层技术的推动者；不过，一家带有军方色彩的实验室去掉安全护栏，是一种典型的死法。桥水（Bridgewater）这类对冲基金，可能是看不见的活跃玩家，但他不知道。接着，Labenz 一直在等的那句话出现了，正是开场白里的那句：“我们总在担心中国，但我更怕 Meta。如今一家美国公司，就让我比整个中国还要害怕。”Labenz 认为，这是对缺乏细节的中国论调的一个有用修正。Mowshowitz 仍然会对两者都采取应对措施。他又补充说，从显示偏好（revealed preference）来看，美国并不像在真正想要击败的竞争对手那样行事：中国的理工科毕业生，并不能留在美国。

Labenz 把 Character.AI、Inflection 的 Pi 和 Replit 当作不同的转型路径来推：陪伴、教练，以及让生成的代码真正运行起来的底层平台。Mowshowitz 看不出陪伴类应用能通往递归自我改进或 AGI，他还指出，它们大多只是包装了 GPT-3.5 或 GPT-4，外加一个能剥离越狱脚手架的分类器。Replit 的 CEO 曾称这款产品是 AGI 的完美底层，还一度推测，某个 AutoGPT 变体接管 Replit 服务器的概率并非为零。Mowshowitz 的反应是在 Manifold 上开了一个预测市场，并把这种态度归入“蠢笨的灾难猴子”一类。给别人的代码提供一个运行的地方，并不能让你成为活跃玩家。一篇 LessWrong 的帖子讲了一个人，明明懂语言模型的原理，却还是说服自己拥有了一个 AI 女友，这也没怎么打动他。人会自欺欺人；在他看来，这项技术甚至还不够好，解释不了一个人每天两小时的习惯，哪怕用的是 GPT-3.5。那个市场买的是体验，并非智能，所以这些公司会去微调小模型，不会去训练 GPT-5。活跃玩家名单依然很短：OpenAI、Anthropic、谷歌 DeepMind、大概还有 Meta、监管机构，以及作为变数的中国。Anthropic 刚满一年，员工仍不到 200 人。一支说自己在做“基础模型”的团队，只要客气地开口，仍然能募到数亿美元。陪伴类创业公司的默认路线是做产品，前沿不在其考虑之中。

白宫的召集会议、各项承诺，以及前沿模型论坛（Frontier Model Forum），在 Labenz 看来，是活跃玩家的邀请名单，也是分享分类器等公共产品的场所。Mowshowitz 的反应是：很好，但别太早得意。廉价空谈（cheap talk）被低估了。正确的廉价空谈，远比不说要好。实验室要为此付出代价：要面对不想要安全的受众，这是有用的；它们可以向董事会和股东证明这项工作的价值；它们获得了一条协调渠道；而且，他说，白宫草坪上的一次公告，正是他明确想要的东西，因为它在反垄断上撕开了一个口子。现在，各家公司可以协调一致，不以最快速度杀死所有人，又不必被指控为拒绝竞争。这些承诺仍然缺少执行力和具体内容。两场有分量的参议院听证会，尤其是 Blumenthal 参议员主持的那场，也是同样的情况：是一步，不是大功告成。“真正的工作现在才开始。”

今年，Mowshowitz 是 Jaan Tallinn 的生存与繁荣基金（Survival and Flourishing Fund）的推荐人之一，要阅读大约 150 份资助申请。被问到瓶颈在哪里时，他拒绝给出单一的限制因素。一旦你开始购买严肃的算力、支付与能力研发有竞争力的薪水（每年几十万美元，甚至可能 100 万美元，每位资深人员还需要数百万美元的算力），资金仍然是瓶颈；但这笔钱不必只来自旧的有效利他主义（EA）资金池，基金会、亿万富翁、政府，甚至实验室自己，都可以参与进来。人才的瓶颈只卡在一类很窄的人身上：具备领导力、自我驱动力和筹款能力，理解 Yudkowsky 提出的那些难题，并愿意攻克真正的难题，别去做那种每六个月就能发表一篇、带着对齐色彩的谜题。想在伯克利待六个月的普通本科生，并不稀缺。如果你具备这种稀缺的组合，“加入一个现有机构、试图以个人身份产生影响”将是一个重大错误，还不如牵头成立一个新机构或新分支。Labenz 用研究议程（research agendas）来描述同样的缺口。Mowshowitz 同意：你无法把计划交给一个还没看清为什么对齐很难的人。

在政策机构方面，他首先看目标。需要盯住的关键，是算力监管：许可、测试，以及最终对最大训练任务的限制或叫停，再加上让这些限制可执行的 GPU 追踪。凡是通不到这一点的东西，也许有助于日常实用价值，但救不了我们。在一定程度上，要求强制保险的责任制度对伤害是合理的，它能促使实验室内化厚尾风险；但存在性风险无法定价，因为一旦它发生，保险公司自己也没了。他主张按实际损害承担责任，并警惕不对称的正义：对伤害施以全额惩罚，却几乎不分享收益，这会对日常实用价值征税，同时又漏掉了真正的大风险。值得设立独立的红队组织，三到五个、测试各不相同即可，不必三十个。ARC 对 GPT-4 的首次评估，只是对这套装备的试运行，算不上真正的停止点。危险在于，实验室只修补狭窄的演示，把通过的清单当作安全，或者忽视发现的问题。Nathan 自己录下的那通针对未经越狱手机智能体的勒索电话，在推特上大多是打个哈欠，尽管供应商后来确实修复了它。在他看来，机械可解释性“就像西方文明：这是个好主意”。要做，而且要并行推进，并建立一种文化，让人能压住一项危险发现，不急于把它推出去。他对三大实验室、政府和公众都在做出正面修正，负面的修正来自别处。到目前为止，这场“末日巡演”的进展，比他开始时预期的要好。