Flo Crivello 睡了五个小时的那晚：GPT-4 并没有撞墙

Labenz 在 AI 圈眼花缭乱的一周结束时开场，嗓子已经快撑不住了。请来的是回归的嘉宾 Flo Crivello，Lindy AI 的创始人兼 CEO。这周的主角文件是 Leopold Aschenbrenner 的态势感知书稿：AGI 近在眼前，超级智能紧随其后，而在美中竞赛中，他希望美国能拉开足够大的领先，买到安全所需的时间，然后向中国提出一项对方无法拒绝的利益共享协议。Labenz 说，他在这个设想里找不到明显的漏洞。前沿实验室的负责人都在谈两到五年内实现 AGI，美国政府也已经开始“感受到 AGI”了。

他仍然觉得一场 AI 冷战既吓人又悲惨，因此想要另一种选择。华盛顿与北京之间的信任几乎不可能建立。他并不想生活在习近平治下的中国，但他宁可冒险与中共打交道，也不愿在赢家通吃的压力下，指望在一个极短的窗口里解决安全问题。一家中国公司刚刚发布了一款类 Sora 的视频模型，这表明中国的研究未必落后太多。与此同时，他猜测 GPT-5 级别的系统仍会处在一个甜蜜点上：强大到足以有用，安全到足以部署，但也许不够安全，不适合开源。他对加州的 SB 1047 这类监管也越来越能接受了。

Flo 已经读完了书稿的大半，并且为此睡不着觉。这不是他第一次真的因为 AGI 而失眠；昨晚他只睡了五个小时，他并不建议睡前读这篇东西。他说，论证的展开非常有条理。他想不明白，人们怎么会不害怕。“如果你明白正在发生什么，你就应该感到害怕。”Labenz 表示同意，然后把第二个问题先搁在一边：即使不谈准确性，这个论点是否值得推广？他请 Flo 把论证讲透，直到听众至少有些警觉。

Labenz 说，人们常重复的一个说法是：18 个多月里没有出现比 GPT-4 更好的模型，所以规模化已经停滞了。Flo 的第一个反驳来自历史：人们说深度学习撞墙，已经说了 10 到 20 年，这是一个梗。第二个反驳来自经验。达到 GPT-4 水平、有时甚至更高的模型，现在的成本大约只有原来的百分之一，速度却快了 10 到 100 倍。他认为，Gemini 1.5 Flash 被大大低估了：便宜、快，而且“好得离谱”。推理上的进步不一定是训练上的进步，但推理成本降低 100 倍，通常意味着训练流程里也有东西变了。

上下文窗口讲的是同一个故事。18 个月前，它们是 4,000 个 token；今天是一百万个。Mamba 式的架构开始上线，据 Flo 了解，效果不错。他没有内部消息，但觉得 GPT-5 会在 2024 年第三或第四季度到来，并让人们大吃一惊。Labenz 给出了一个具体的任务：他拿自己最近发出的 250 封邮件给模型，请它写一份人物速写，输入大约 25 万个 token。Anthropic 的模型上限是 20 万 token，Flash 则有一百万。一次调用，几乎没怎么提示，大约 45 秒就跑完了，花费不到 20 美分，大约是最初 GPT-4 价格的 1% 到 2%，而上下文窗口是最初的一百倍。

如果是最初的 GPT-4，他就得把邮件切块、对摘要再做摘要，然后眼看着信号在每一级都消失。GPT-4o 的多模态能力同样被低估了，主要是因为用过的人不多。Greg Brockman 发过一张生成的黑板图片，上面写着“文本、像素、音频的概率”，暗示由同一个架构在一个共享空间里处理这些模态，而不是先转写成文字、再交给 DALL-E 的流水线。打断对话也很顺滑，模型似乎会把自己的声音和用户的声音混在一起，别的声音出现时就停下来。Flo 再一次提到“苦涩的教训”（bitter lesson）：不要去工程化一个阈值，而是端到端地训练它。多模态让他感到惊讶，推理能力则没有。他已经把大部分工作流从 GPT-4o 上迁走了。

Flo 在两个方面更新了看法，都来自 Aschenbrenner 的书。第一：如果 AGI 在 2030 或 2032 年前没有到来，那它可能到 2040 年也不会来。未来五年是一次性收益的窗口期。数据会耗尽，或者至少会逼出一个解决办法。资金会撞上一次万亿美元级训练的天花板。模型周围还有一些唾手可得的“解除束缚”果实，来自认知架构。合起来，他认为还有三到六个数量级的空间。如果把这些果实都摘完仍然到不了 AGI，剩下的就是摩尔定律（慢，大约每十年半个数量级），再加上同样谈不上很快的架构工作。

第二：起飞速度。他过去在一天和十年之间拿不定主意，也曾把 AGI 和 ASI 分开看。现在他确信大约是一到四年，也不再把二者拆开。只要有了 AGI，就有了 ASI，因为你可以自动化 AI 研究，获得“额外 1,000 倍的带宽”，然后乘着指数式的改进往上走。Labenz 一直在自己脑子里和这个结论较劲，部分原因是他不希望中美军备竞赛的梗变成自我实现的预言。他还认为，AGI 的“宣布”可能和 OpenAI 与微软的合同挂钩，跟能力本身的关系一样大：一旦董事会说已经实现了 AGI，OpenAI 就不必交出知识产权；而 2025 年，正是他们可能选择这么说的一年。

John Schulman 最近的播客，传播度不如 Aschenbrenner 的文章，却勾勒出了下一步的“解除束缚”：收集中长时间跨度的项目执行数据，并教模型遇到障碍时如何停下、回退、换一条路径。如果 Scale 和其他合作伙伴还没有在观察知识工作者出声思考，Labenz 会大吃一惊。他试过 Devin 和 GitHub Workspace。Workspace 从一个 GitHub issue 开始，非程序员一上手就会被劝退。Devin 则像是未来：你描述一个任务，它就开始干活，途中还能丢进一条消息；它会打断、吸收信息、重新规划，然后继续。不过它仍然像一个需要指导的编程实习生。Labenz 认为，再往前一步，它就能与一个可以被雇用的、非顶尖的程序员竞争。Flo 没用过 Devin，他整天看的是 Lindy 的智能体。他认为未来几年 AI 编程智能体到位的把握是 100%。

赞助商广告时段过后，Flo 说出了一个心理上的错觉。假设他向 Labenz 出示了令人信服的证据，说明明天会有人上门杀掉全家，然后又补充说，一场鲨卷风也在路上。第二个说法太卡通了，以至于人们会把第一个说法也一并扔掉。Flo 认为，AI 的讨论也是这样捆绑在一起的。关于物质被“编译”、宇宙被接管的 Eliezer Yudkowsky 式说法，和一个枯燥的说法装在同一个袋子里：AI 工程师即将到来，所有知识工作在五到十年内都会被自动化。Flo 说，没有一个从业者对此有异议，而这恰恰是公众从来听不到它的原因。注意力已经转向了科幻的那一半。

风险分为两类。一类是 AGI 失控；Flo 能理解怀疑者的立场，尽管他不同意。另一类是滥用，他不明白为什么会有人怀疑。人们会用极其强大、并且正被向所有人开放、甚至“兴高采烈”地开源的技术去做坏事。他说，Dario Amodei 把现有的这层保护讲得很到位：世界上有邪恶的精神病态者，但他们与有能力的人重叠的部分很小。教育会让人社会化，而机会成本会越来越高：你可以去做交易员、工程师、创始人、投资人。一个受过教育的人走上歧途，就会成为一个 Unabomber 级别的案件，人们会记几十年。这层保护正在消失。

好处是真实的。一个 17 岁的少年，将拥有和可口可乐一样的市场推广能力，在卧室里就能调动相当于 10,000 名员工的力量，是一个工业化的 MrBeast。推论是，有些人会用同样的技术栈去做坏事。生物和网络安全是最明显的两类。文明已经运行在我们几乎看不懂的计算机系统之上：银行、电网、互联网。超人级的黑客能力即将交到每个人手中。Flo 具体担心的噩梦是：醒来时陷入战争迷雾，没有电信、没有银行、没有电力，交通瘫痪，城市断粮，电网刚恢复几周就又被击倒。他说，“AGI 可以保护我们”这一说法会在两个环节上失效。攻防不一定同步上升；即使同步，美国银行和 PG&E 采用新技术的速度，也可能比俄罗斯的黑客慢上好几年。Labenz 补充了前嘉宾 Daniel Kang 团队的一篇新论文：大语言模型（LLM）智能体能够发现并利用那些位于模型训练截止日期之后的零日漏洞。

Labenz 不希望出现美中 AI 军备竞赛。他一直在寻找一个故事：要么我们在 2020 年代末之前错过可以即插即用的高端知识工作者，要么在智能爆炸之前就停滞不前。他找不到一个好的版本。那些弱点，在一条清晰的路径上看起来都是可以解除束缚的。相关的神经网络工具也在持续叠加效果：AlphaFold 3；能从量子力学模拟中学习粒子级动力学的模型，速度比原始模拟快好几个数量级，然后预测结晶这种涌现的相变；以及通过 API 运行物理实验的自动化云实验室。即便一个系统还不比爱因斯坦更强，它也会坐拥一个可并行的工具阵列。生物数据和模拟轨迹甚至可以和文本、像素、音频一起，并入核心的预训练组合之中。

被要求给出一个连贯的停滞故事时，Flo 的第一反应是数据逆风：我们会用完数据，这也许可以解决，他也可能错了。但他认为，这个问题本身就问错了。气候、核战争和流行病防范，并不会等到排除了一切合理怀疑之后才行动。专家们趋于一致，预期价值也告诉我们应该投入。在 AI 领域，被引用最多的人都在拉响警报。否认者过去常躲在缺乏研究共识的背后；现在共识已经翻转，他们却没有更新观点。他说，应该像对待气候否认者那样对待他们：礼貌地忽略，然后把讨论转向“接下来怎么办”。加州的那项法案，不管人们怎么看它的具体条款，都是正确的讨论方式。Labenz 对末日概率（p(doom)）的回答是 10% 到 90%，或者 5% 到 95%：哪一端都足以让人采取行动。

在 Labenz 看来，一个万亿美元级别的集群，更像是一个上限，前提是没有任何聪明的事情发生；而单是安全问题，就会促使人们把这套设施分散到多个站点。Flo 的看法更冷峻：根本不需要中国。谷歌、Anthropic 和 OpenAI 早就在竞赛了。即使不考虑地缘政治，经济因素依然在拉动：即使要花 10 万亿美元来自动化所有知识工作，也算便宜，市场会找到钱。时间表的锚定，和那场鲨卷风的作用一样。有位朋友曾经觉得 Flo 那个“15 到 20 年”的担忧很离谱，因为“大家都在说五年”；现在 Flo 说五年，但仍然认为 15 到 20 年就在明天。文明本来就在为这么远的风险投入。即使是 2035 到 2040 年，也是现在就该开始规划的理由。

Labenz 认为，如果把中国从棋盘上拿掉，也许冷静的声音会占上风。活跃的玩家只有三到七家；它们大多彼此认识，住得很近，也合作过，Mistral 的团队很大一部分来自前 DeepMind 成员。那么，美国政府也许会成为一股缓和的力量，而不是一个为了决定性优势而竞赛的国家安全型国家：它会在几个月内解决对齐问题，然后向北京提出一项协议。Flo 只同意一半。中国也有私营企业。在他的图景里，政府是一股被收编的力量，而不是推动的力量。百度或腾讯会像美国的实验室一样竞赛。国家的出场时机会更晚，等到美国国防部发现这东西很强大，并在它失控之前，向这些技术宅要钥匙。

至于现在该做什么，Labenz 回顾了 SB 1047：确保模型不会造成大规模伤亡或数亿美元的损失；如果无法合理地确信这一点，就带着安全措施部署，这意味着不开源。今天，这种确信仍然存在；这项法案针对的是一个它不再存在的未来。可解释性、稀疏自编码器，以及一种中国的微调抑制技巧（把生成器困在局部最小值里，让被禁的能力比从头训练还难重新调回来），看起来都是拼图的一块。但没有一样感觉像是计划。如果今天真有一道闸门，Flo 愿意把自己锁在它上面，而这道闸门应该设在 Meta 那里。

他说，第一步是停止开源模型，就这么简单。相对于成本，它的好处很小，因为我们不知道里面有什么。微软的 MedPrompt 论文发现，GPT-4 在一个经过大量心血设计的提示词加持下，没有任何医疗微调，就击败了专门为医疗场景打造的模型。这些模型是一片稠密的丛林，多年的摸索，GPT-4 仍然是不透明的。一点小调整就可能让能力跳升。你可能已经发布了一个具备 AGI 能力或超级黑客能力的模型却不知道，半年后有人找到了正确的提示词。微调可以像 OpenAI 那样通过 API 提供。审计权重做不到人们想象的那种程度；真正轻而易举的，是去掉安全防护。Hugging Face 上到处都是未经审查的模型家族。这是第一步。

第二步是为对齐打造一个曼哈顿计划：数百亿美元，全方位投入，或许还要有强制性规定，每一美元或每一 FLOP 的训练，都必须有等量的对齐投入相配。他并不指望这会发生。如果加州的法案都通不过，更大的法案就更不可能了。他预测会出现一次 AI 版的 9·11，并祈祷它不会太严重；严肃的态度会在之后才到来。Labenz 问，如果权重永远不离开安全服务器，可解释性研究者要怎样才能接触到先进模型。Flo 的类比是最初的曼哈顿计划：经过审查的人员、机密、有结构的访问。他担心的是使命漂移：一个政府项目，最后变成了“保持领先于中国”。Flo 对这个转折并不轻率。他是一个讨厌国家的自由主义者。MIRI 花了 10 到 15 年寻找一条不需要监管的对齐路径，最终放弃了。在这场对话里，两位长期的自由主义者主张动用最后的手段，本身就是一个信号。

回到现在，Flo 把自己说成一个谦逊的 B2B SaaS 创始人。用 Aschenbrenner 的话说，Lindy 做的就是解除束缚：围绕模型搭建各层，而不是模型本身；它本季度就有用，同时仍与系统的演进步调保持一致。这里的赌注是：这些层能让 GPT-3 大致达到 GPT-4 的能力，让 GPT-4 大致达到 GPT-5 的能力。长期记忆和 RAG（检索增强生成）按情境来检索。持续学习则利用由用户确认的上下文学习：给 Lindy 一个任务，给出反馈，看着它主动请求反馈，然后不断改进。工具使用、电脑使用和界面使用，都建立在同一个技术栈之上。他把公司的工作分成三块：智能体的黑箱（去掉 LLM 之后的部分：记忆、规划、评判器、验证、递归的目标拆解）、输入（文本、图像、音频，Lindy 可以加入会议），以及输出（目前是 API，以后会在 Zoom 里说话、打电话、使用电脑）。

Labenz 自称是“采用加速派”，同时也是“超大规模扩张的刹车派”，有人质疑这两种立场能否自洽。微调和脚手架确实能释放真正的价值；他并不想要再多六个数量级的原始规模。OpenAI 与 Harvey 的合作（在 GPT-4 基座上做持续预训练加后训练，额外 FLOPs 据称远低于 10%）产出了一个用户强烈偏好的定制模型，但在其他方面大概更差。一百个窄领域专家，听起来像是冗余，却不必承担再跳一个数量级的风险。扎克伯格那句关于“TikTok 式周期”的评论，仍然让人耿耿于怀：脚手架让你看清楚该把什么烘焙进下一个模型，然后脚手架本身就死掉了。Flo 认为，Lindy 构建的大部分东西能撑过五年的时间跨度，也许是 80%，而不是 100%。在无限上下文的世界里，持续学习型的 RAG 看起来已经过时，直到你算一算成本：用一个不断增长的窗口取代 RAG，“实打实地贵 100 倍”。他说，RAG 之死被大大夸大了。

他借用了 Android 和 iOS 的比喻。基于带垃圾回收的 Java 的 Android，本以为无关紧要，因为计算机会无限强大；但多年来手机一直很卡，iOS 却始终流畅丝滑，那 100 毫秒与 500 毫秒之间的差距，人们是真切感受得到的。两到五倍，或者在 RAG 的情形下 100 到 2,000 倍，正是 Lindy 愿意依靠的那种差距。Labenz 仍然预计，GPT-5 之后，他还会主张暂停：再推出一代处于甜蜜点的模型，然后把模型落实到医生和律师的实际工作中，而不是继续赛跑着冲向下一个数量级。Flo 把这称为边缘政策（brinksmanship），并借用了 Eliezer 的一个比喻：洗衣粉投得越多，黄金产得越快，直到把地球炸掉。他对再多两三个数量级是能接受的，但接受不了六个或十个。危险在于，那份诱惑永远不会停下来。“再来一个数量级，兄弟。”监管这台机器转得很慢，而 GPT-5 无论如何都会到来，所以关于再下一代的讨论，必须现在就进行。

谈到 OpenAI 的领导层，Labenz 的看法几经转折：起初一无所知，后来觉得它出人意料地有计划，再后来又不确定。多次出走看起来有点像清洗，尽管 Sam Altman 似乎仍在认真对待 Labenz 关心的那些想法。Flo 拿 Uber 打比方。从外部很难想象超大规模扩张中的混乱：Uber 当时每个月大约新增 800 人。OpenAI 在 18 个月里，把一个相对冷门的研究实验室变成了一家能创造数十亿美元营收的公司。Altman 当然是一个冷酷的商人。Flo 认为，超级对齐承诺拿出 20% 算力的时候是认真的；之后混乱打乱了一切。这正是关键：这些公司在结构上无法自我监管。它们需要外部的强制力量，而 Altman 即使不是在主动邀请，也在放任这种力量出现。Flo 不认为安全团队被清洗了，除了可能和那次政变有关的 Ilya 之外。他们离开，是因为 OpenAI 没有兑现承诺。领导层在乎安全，但理性地说，仍然把 FLOPs 投在了能力上。

在基础模型的构建者中，还有哪些仍然重要？Flo 认为格局已经定了：Anthropic、OpenAI、Google、Meta。Mistral 离这个圈子很近，但它不把自己归入其中。Mamba 团队的工作让他感到惊讶，也可能很重要，不过现有的大公司可以复现这项研究，而且肯定已经有模型在训练中了。被问到大型科技公司会不会蔓延到每个行业时（Labenz 的“大科技奇点”说法，源于一个据称能让一家集装箱航线利润翻倍的谷歌航运规划 API），Flo 并不买账。谷歌在扩张方向上很有章法。搜索一直是 AI 问题；Android 的存在，就是为了让谷歌成为默认引擎。这家公司不可能把自己变成物流公司。Google Fiber 是它的扩张试验，但他们已经撤出了。他把这个 API 看作 AI 正以多快的速度渗入经济每个角落的信号，而不是谷歌变成了航运公司。

Labenz 仍然担心一种类似 Facebook 广告的模式：一个平台非常擅长分配需求，以至于把每个卖家的获客成本（CAC）压在刚好接近利润的水平，然后拿走剩下的一切。如果谷歌按当前利润来给一个能让利润翻倍的 API 定价，货主就会在隐含的断供威胁下沦为农奴。Flo 承认垄断逻辑，但否认这个前提。网络效应让 Facebook 成为霸主；AI 不会只有一个赢家，实验室彼此厌恶，价格战已经在压低 token 的成本。他曾经担心自己会沦为 OpenAI 的农奴。现在他手里有 Gemini、Llama、Claude 和 Mistral 可以选。一个能让利润翻倍的航运 API 可以吞下半个行业；两家竞相降价，货主就能留下更多。他开玩笑说，Flexport 迟早会做这件事。最后还有什么想法吗？“AGI 要来了，是时候感到恐慌了。”Labenz 怀着一线渺茫的希望收尾：AGI 或 ASI 的军备竞赛，并不是它目前看上去那种自然的吸引子。