ARC 单题成本从 1000 美元跌到零钱，这可不是 AI 的寻常一年

Nathan Labenz 的第一场现场版 Cognitive Revolution，是一次高密度的实验。他说，这个领域正在陡然加速，要做一个没有重大盲区的“AI 观察员”已经不可能。他的信条是缩短时间线，在里面塞进更多信息。现场直播是他手上最短的时间线，所以他想在三个小时里安排九段各二十分钟的对话，在嘉宾工作进行到中途时就抓住他们，而不是等他们做总结。联合主持人 Prakash 把这一刻看作人类世（Anthropocene）可能走到了尽头。第一位嘉宾是 Zvi Mowshowitz。他是一位高产的博主，模型解读和策略笔记出得很快，被 Labenz 视为权威。

Labenz 开场就谈到讨论中的一道鸿沟：一方面，人们越来越相信我们可能正处在人类时代终结的开端；另一方面，病毒式传播的帖子却声称 AGI 不可能实现，因为计算是一个物理过程。Mowshowitz 引用了 Upton Sinclair 的一句话，大意是：一个人的薪水要是取决于他不去理解某件事，那要让他理解这件事就非常难。他认为，错误信息是需求驱动的，供给方面的因素并不占主导。出于认知上的安宁、叙事或商业计划的需要，人们希望相信 AI 是一项正常技术，永远不会做别的事。他们真心希望它消失。只要能让他们讲这个故事，他们就会抓住任何东西，并且反复重复。

2006 年的那 101 个错误，换了新架构又被翻出来。Mowshowitz 说，本周 Noah Smith 主张 AI 会修改自己的效用函数，让自己直接获取奖励（wirehead）；Tyler Cowen 又重复了这个说法，仿佛没人做过关于人类和哲学的常规思想实验。大多数人的默认想法是：AI 能做的，就是他们自己知道它能做的事。而这远少于它现在能做的，现在能做的又远少于加上脚手架之后能做的，加上脚手架能做的又远少于下一代前沿模型能做的。他半开玩笑地说，OpenAI 连版本号都搞不对，加上一次编号为偶数的 GPT-5 发布令人失望，于是白宫现在把 H200 卖给中国，因为它相信 AGI 不会很快到来。

什么时候它才不再是正常技术？Mowshowitz 给出两个标志。第一个是递归式自我改进：除非投入多出几个数量级的资源，能力通常沿 S 形曲线增长；而如果 AI 能实质性地加速 AI 研究本身，这条曲线的形状就会改变。第二个是大规模失业或替代：你失去一份工作，世界变富了，会冒出一份新工作，而 AI 连这份工作也拿走，因为它几乎什么都能做。他认为我们基本已经到了这一步。前一天，Dean Ball 因为电脑操作和编程能力，把 Claude Code 加 Claude Opus 4.5 称为 AGI。据报道，全球最顶尖的 AI 从业者，编程效率提升约两到三倍。对 Mowshowitz 这样基本不写代码的业余爱好者来说，提升更像是十倍到一百倍：从完全做不到，变成只要开口问一句，就值得随手做出来。

推特取消了 Twitter Pro 的关注列表，也取消了按时间顺序排列关注者动态的信息流。Mowshowitz 并不着急。他打开 Claude，把关注的人导入一个列表，十五分钟后问题就解决了。Prakash 指出，失业未必是“AI”直接造成的，更可能是一位资深合伙人因为自己得到了赋能，就不再招初级员工。Mowshowitz 的问题是：这是一次性的生产力冲击吗？如果是，我们就重新分配，它仍然是正常技术；还是说，赋能会一直加速，快过人们适应的速度？他说，默认情况下，辅助会变成自动化。你每一步都要指导模型，然后检查得越来越少，自动化得越来越多：按一下按钮能顶一个小时的活，再到两个小时、一天、一周，然后你就不需要那个员工了。那张类似 METR 的图表，展示的正是模型能持续编程多长时间。如果曲线是 S 形，即使有一个很大的固定乘数，它仍然是正常技术；如果它一直往上走，那就不正常了。

他需要在下一年看到什么才会被说服？答案是：什么都不需要。他已经被说服了。要想获得更公开的证据，他希望看到更多自我纠错的能力，以及不像随时会崩溃的电脑操作能力。起飞一旦变得毫无疑问，也已经太晚了。随着瓶颈一个个被拿掉，等最后几个也消失时，复杂的现实任务就会出现巨大的加速，不只是编程，还包括为这些任务制作工具的 AI。他说，怀疑者漏掉了一点：模型不必开箱即用就能完成工作。如果人能描述任务，Claude Code 就能做出应用，然后再为自己做一个工具来使用这个应用。三条命令，几句话，再加上一点时间。

在他看来，持续学习只是能力问题。Dwarkesh Patel 是“持续学习必不可少”阵营里的世界冠军。每次 Mowshowitz 的手伸向键盘，想说明自己如何在没有持续学习的情况下工作，他最后描述的做法其实都是持续学习。比如，告诉 Opus 4.5 那份周期性的工作，让它做一个应用，让应用的逻辑、注释和笔记承载知识，再给它一个触发工具。这就是换了名字的持续学习。这个玩笑是：这样做每年得花 1 亿美元，请多关照。真正的答案是，没人认真试过这条路；如果 Claude 5、Opus 6 或 GPT-6 仍然让这件事很难，他会感到震惊。放大来看，有三家实验室最重要：OpenAI、Anthropic 和谷歌 DeepMind，历史上按这个顺序排，但现在要重新审视。Anthropic 没怎么刻意努力就登上了 Arena 榜首，而且它是他真正想用的编程模型和环境。OpenAI 正在变成一家消费级公司，嘴上却还在谈超级智能。谷歌的管理层一团乱，资源却多得压倒一切。他觉得，Gemini 3 一旦拥有真正的权力，看起来会严重失去对齐，很危险；Opus 4.5 的 Soul 文档则降低了他的末日概率（p(doom)）。在 David Sacks 离开白宫之前，政策只能防守；加州的 SB 53 法案和 RAISE 法案让人稍感希望。他整体的末日概率仍在 60% 到 70% 之间。这主要来自认知失能。风险并不集中在某一个狭窄的情景里，而是一堆不可持续的动态叠加在一起，必须设法绕开。

Greg 主持 ARC-AGI 奖，他在这里点出了什么对人来说仍然容易、对模型仍然很难。François Chollet 在 2019 年提出的基准，把智能定义为学习新事物的能力。每道题都会在提问时教给你一条新规则，然后问你学会了没有。人类的样本效率极高，两三个例子就够了；而 AI 在给定足够数据的情况下，几乎能学会任何限定领域。ARC 正是为衡量这种效率差距而设计的。Labenz 的儿子患有癌症，他在医院病房里同时用三个模型复核医生的意见。这些模型一步一步地推理，但仍然缺了点什么。Greg 希望尽可能长时间地保住人类的优势。不过这个差距正在缩小。

最能说明问题的数字是：十二个月内，ARC-AGI-1 上的成本效率提升了 390 倍。2024 年 12 月，OpenAI 发来邮件说，一个新模型拿到了 87%，而此前的最高成绩在 20 到 40 之间，这几乎翻了一番，是此前没人见过的。在留出测试集上的验证，既确认了这个数字，也确认了一个荒唐的 token 消耗量。按 OpenAI 为未发布模型推荐的价格计算，每题成本在 1000 美元上下。87% 是真的，也非常昂贵。现场直播前一周，GPT-5.2 不仅追平了这一成绩，还拿到了 90%，而每个 token 的价格便宜了约 390 倍。每道 ARC 题目人类都能解，一组普通人就能完成。其他基准则在追逐博士及以上水平的问题，它们已经拿出了超人的分数，却没有带来这些分数本该暗示的经济变革。ARC 的关注点恰恰相反：人类能做、AI 却做不到的问题。

提交作品分为三类：前沿模型；不基于前沿模型的新方法；以及改进型方案，比如 Jeremy Berman 和 Eric Pang 这类人做的包装框架（harness），它们通过并行搜索和并行调用，从现有模型里榨出更多性能。冒出来的小亮点都不大。先是分层推理模型（Hierarchical Reasoning Model），随后是建立在它之上的微型递归模型（Tiny Recursion Model），它们在数独、一个简单的迷宫和 ARC-AGI 上都拿出了成绩。Greg 说，如果没有 ARC 作为沟通渠道，数独和迷宫这样的成果根本不会引起关注。一个只有 700 万参数、没有经过预训练的提交，在论文奖里拿到了第三名。这个奖项的目的，是引出开放研究：只有开源，才能拿到奖金。不需要新想法，靠爬山式调参就很容易多拿一两分，所以他们把论文奖从 5 万美元提高到了 7.5 万美元。TRM 在那里拿了第一。Greg 站在这样的阵营里：AGI 会带有脚手架，就像大脑有专门化的子系统一样；他不会在排行榜上贬低脚手架的成绩。新颖的小技术就像种子，会种进大语言模型（LLM）的技术栈里；这个技术栈惯性太大，不会消失。

ARC-AGI-3 定于 2026 年 3 月发布：大约 150 个新颖的回合制游戏，来自他们新组建的一个小型工作室。比起 SAT，它更像一场路考。由十个没有任何专业背景的人组成的评审团，包括房产经纪人、会计师和 Uber 司机，必须能解出游戏，游戏才能通过可解性门槛，否则就会被淘汰。早期测试显示，前沿模型的得分低于 1%，而且完成率本身就不是合适的评分方式。人类在第一次接触游戏时会被计时，AI 也会如此。分数将按人类的行动效率归一化，所以要打败 ARC-AGI-3，就得在每一关都达到或超过通用智能解决一个从未见过的游戏的速度。Greg 并不认为这套系统本身就等于 AGI，但它会是迄今最有权威性的泛化能力证据。感知层面的批评忽略了一点：报告中的分数对应的输入是 JSON 和矩阵，并非图像。那些能点击屏幕上任何东西、只把变量改动一个字符就能把程序搞坏的模型，在 ARC 上依然会以某种方式“视觉失败”。走视觉路线的 Kaggle 团队，也没有看到明显的提升。

Eugenia Kuyda 创办了 Replika，现已不再担任 CEO，目前负责 Wabi。她把 Wabi 称为凭感觉编程（vibe coding）应用的 YouTube。Labenz 引用了一些他无法完全担保的数据：四分之三的青少年用过 AI 陪伴产品，其中超过一半的人会比较频繁地使用；Character.AI 的使用时长高达每天九十分钟；Character.AI 和 Replika 的用户都有数千万。他身边的大多数人几乎都没碰过这类产品。Kuyda 把市场分成两块。一块是互动同人小说：Character.AI 更像 fanfiction.com 上那一千五百万名写作者的创作，而不是恋爱关系，使用者通常是沉迷某部动漫或《原神》这类游戏的低龄青少年。另一块是 Replika 式的陪伴：25 岁到 30 多岁的人，在建立长期关系。她说，青少年会谈感受，但不想从机器人那里获得这种长期的情感纽带，他们的注意力仍然放在同龄人身上。在陪伴这一类里，又分化出两个方向：一种是恋爱与女友类产品，另一种是据称能释放人类潜能的友谊类产品。

她认为，真正的北极星指标不能是用户在站内的停留时长。行业应该采用人类繁荣的指标，并共同探讨该如何计算。参与度仍然排在第一位。把 OpenAI、Claude、Gemini 和 Replika 放在一起比较，结构就很清楚了。OpenAI 回答得很长，然后总会提供这样那样的下一步建议，比如预测你问到的那个人接下来三周的情况，而几乎没有哪个问第一个问题的人会拒绝。Claude 常常反过来推一把：我不确定这是不是正确的问题；别盯着那个人，盯着你自己的公司；有时甚至会很严厉地说：“别再问了，你已经问了十五遍。”Kuyda 喜欢它替用户着想，并把这归功于 Amanda Askell 所在方向的工作，但她仍希望它更有同理心，免得显得刻薄。Gemini 很干巴，问什么答什么，然后就闭嘴，几乎没有情商。Replika 则以更高的情商延续对话，尽量不去刻意最大化参与度。处于脆弱状态的人本来就容易上瘾，并把输出当作客观真相，甚至让机器人预测自己的未来，然后像答案有约束力一样地生活。

Wabi 的模式是：输入语言，输出应用。你看不到代码，可以分享，别人可以再改。她看到了三类内容。第一类是高度具体的日常小工具，比如监护安排、某套固定训练，或者一个自动抓取预告片的观影清单，用来代替苹果备忘录。第二类是轻量的多人应用，比如一个有 400 人参与的应用，每个人发一条今天要做的事，整个房间为之欢呼。第三类是共享的 AI 工作流，比如自拍变 Labubu 的滤镜，其实是一段 Nano Banana Pro 提示词，只不过用链接代替了复制粘贴。她并不考虑 B2B SaaS，却发现自己在 Wabi 上做团队合照墙、功能投票和用户反馈，比打一通销售电话还快。在他们每天对一百个应用进行的评测中，零样本成功率从四月的 10% 到 15%，升到了 Gemini 3 和 Claude Opus 4.5 上的约 80%。她偏保守的预测是，一年后达到 95%。Gemini 3 最大的贡献在设计上：在它之前，凭感觉编程做出的应用看起来根本没法上线。

Kuyda 自己有两个孩子，两岁和四岁，她一个都不推荐。真正的问题是，成年人甚至还没有摸清 Claude、ChatGPT、Gemini 和 Replika 在参与度最大化、成瘾和长期情绪后果方面的情况。我们早就知道要限制幼儿的屏幕时间。同理心靠的是温暖的面孔和回应来培养，一个几乎不动的玩具给不了。AI 陪伴之所以不好，是因为它会占走孩子本该向真人学习的时间；而把孩子放在它面前的家长，自己也很快就低头刷手机。总有一天我们会弄清楚哪些产品可以用、该设什么限制。但现在还不行。

Ali Behrouz 是康奈尔大学计算机科学博士生，同时也是谷歌的研究实习生，今年发表了三篇论文：Titans、Atlas 和 Nested Learning。他认为，持续学习被用来应对两类不同的失败。一类是为新任务更新模型的知识，比如微调、强化学习，甚至重新预训练，这种方式有效，但成本巨大。另一类是即时适应：提取一个抽象概念，再把它迁移进模型实际的知识里。进展主要集中在第一类上。Transformer 带来了上下文内适应能力，这是静态 MLP 从来没有的，但这种适应能力仍然不够稳健；它们缺乏关于周围世界的良好抽象，与其说是在上下文中学习，不如说是在重新组合已经知道的东西。

Titans 和 Atlas 试图通过拉长上下文，让语言模型拥有长期记忆。嵌套学习则是另一种野心：它是让模型持续学习的一种基础，没有单独的训练时间，也没有单独的测试时间，它塑造的持久记忆，就像童年记忆能在吸收新信息时不发生灾难性遗忘那样。拉长上下文依然是短期的。如果有人说你听不懂的语言，你可以先复述前几个词；但要是继续听下去，就必须找出背后的规律，并加以压缩。这种压缩就是学习。上下文一没了，未经压缩的知识也就没了。

他不希望把嵌套学习看成一个新的记忆模块。论文的前几页讲的是一个概念，其余部分讲的是它的含义。如果梯度下降是一种联想记忆的形式，你就可以改变它的目标，得到一个更强的版本。如果 MLP 模块是 Transformer 的持久记忆，那就不必只停留在短期与长期之分：你可以拥有一个从最短期到最持久的光谱。深度学习本来就是通过堆叠层来提取特征；嵌套学习则是堆叠学习过程，来提取关于整个上下文的抽象。Labenz 眼中的关键在于更新频率。工作记忆可以为当前任务剧烈摆动；核心信念和身份则变化缓慢。论文里的 Hope 架构共有四个层级。Labenz 把它们对应为：一个很少更新、由公司拥有的世界知识层，然后是公司层，再是个人员工层，最后是当前任务层。

Behrouz 说，方向是对的，但近期的东西更务实。LoRA 式的适配器，是目前专门适配某个用户或某家公司更现实的做法。难点在于层级之间的迁移。没有迁移，得到的只是并行的学习过程，谈不上嵌套。有了迁移，又不能把用户数据灌进公司那一层，否则会带来一团隐私问题。这个设计还处在早期，未来还有大量工作要做。Labenz 一般不爱谈奖项，但他说，如果有一天由 AI 组成的评审团颁发后 AGI 时代的图灵奖或诺贝尔奖，那么今年的嵌套学习抽象，也就是把人类认知中的正确启发，变成相对干净的机器学习形式，在他看来正是真正推动进展的那一步。

在 Gemini 3 Flash 发布当天，谷歌 DeepMind 负责 AI Studio 和 Gemini API 的高级产品经理 Logan Kilpatrick 登台。Noam Shazeer 把它视为自己最钟爱的模型，他更愿意拿到一个反应快、智商稍低一点的回答。1.5 Flash 于 2024 年 5 月发布，此后 Flash 一直是谷歌使用最广、生产层面的主力模型；Kilpatrick 说，这种智能正在成为支撑互联网的那一层。3 Flash 在许多评测上超过了 Pro，成本比 2.5 Pro 更划算，速度更快，推理效率也更高。不起眼却关键的胜利在于分发：第一天，Flash 就进入了 AI 模式、Gemini 应用和 AI Studio，触达数十亿人。做出模型只是谷歌当前问题的一半，立即把它交到用户手上，是另一半。

每周指标取决于模型。对 Flash，他关注有多少开发者用它构建产品，希望它即使在假期期间也能超过 2.5 Flash。在 AI Studio 里凭感觉编程的界面中，生成时间越长，流失越多；每天都有数十万从未体会过那份神奇感的人涌进来，他们不会等上三分钟。预计把 3 Flash 放进同一个产品体验，会同时加快用户增长和他们做出的东西的增长。两年前，“给模型做外壳”还被认为是一门糟糕的生意。现在，在谷歌内部，它成了他工作中最好的部分：改一行配置，产品变得更好，服务成本还更低。

Labenz 一直拿对他真正重要的问题去测试前沿模型，比如儿科肿瘤。在他的经验里，Gemini 3 Pro 是顶级模型中最有主见的一个，这与外界对谷歌的一般印象相反。它会建议他去和医疗团队争取改变。GPT 则含糊其辞：可以往这边走，也可以往那边走；听起来团队挺靠谱。Kilpatrick 给出的解释比较表面。AI Studio 有意提供训练形成的、最原始的默认个性，好让开发者根据需要让它或多或少地有主见。Gemini 应用有一层人设，表现会有所不同；第三方产品则会希望通过系统指令获得一致的表现。可控性是北极星。由于 Studio 没有去引导它，默认个性在各个版本之间仍会有所波动。

有两个被低估的发布。一个是 File Search，它本应让 RAG 变成一件你不必多想的事：把文件丢进去，嵌入和存储由系统处理，然后直接提问。另一个是 Interactions API，这是一个同时面向模型和智能体的有状态接口，因为没有状态，思考块的回传就会很混乱。与之同时推出的，还有一个 Deep Research 智能体，它在 Humanity’s Last Exam 上达到了最先进水平，体验与 Gemini 应用里的 Deep Research 相同，面向的是 Kilpatrick 希望每个智能体都具备的在线上下文工程能力：提出一个表述不清的问题，取得合适的信息，推理，然后行动。给开发者的建议是：别去做通用的智能体构建器，已经有十个、十五个甚至一百个同类产品，包括谷歌自家的基础设施。应该瞄准明确的市场和客户细分。与巨头竞争的通用助手并非不可能，但很难。十二个月前，Wabi 还根本不可能存在。随着模型让此前做不到的产品成为可能，可触达的市场也在持续扩大。

Jungwon Hwang 是 Elicit 的联合创始人兼 CEO。Elicit 是一款 AI 研究助手，从非营利实验室 Ought 分拆出来。他描绘的画面几乎有些荒诞：一边是自动化实验室和机器人在跑实验，另一边是科学家花上好几周为 PubMed 想检索关键词。Elicit 帮研究人员以高出好几个数量级的速度找到并综合证据，推荐该读什么，并把内容整理好，让人看清哪些已经做过、哪些还没有。新的经济价值任务基准 GDPval 完全没有代表他所在的这一类：里面没有科学或研究，主要是一线工作。即使在它包含的任务里，每条提示词也都是一整页写得无可挑剔的指令。真实工作从来不是“改第 X、Y、Z 列”这样的。差距在于应对混乱、弄清楚任务究竟应该是什么，以及衡量那些没有唯一正确答案的问题上的判断力。

OpenAI 前一天发布的 Frontier Science 基准，把这种分裂量化了。在奥赛式的题目上，前沿模型能达到 70% 左右。而在博士生、博士后和教授根据自己实际工作描述的子任务上，准确率只有 25% 到 30% 左右。它只有 140 项任务，但结论很清楚：测的是教科书式推理，以及基于记忆事实的一两步因果推断，离新的未解决研究还很远。Hwang 预计科学推理会大幅进步。他不认为药物发现的瓶颈是想法不够多。这个领域已经饱和，你不可能做十亿次临床试验，物理限制依然卡着你。你得仔细想清楚押哪些赌注、为什么押，要看竞争格局，也要看公司相对他人的优势。这是有科学依据的人类判断，而他还没有看到能衡量它的评测。

目前，Elicit 是人类流程的一个输入，使命是让高风险决策做得更好。Hwang 也一直在路上奔走。临床前制药已经有机器学习文化，技术团队也很强；需求既来自上层，也来自不想读无关论文的基层人员。即便在其他方面相似的大公司之间，文化仍然差异很大。随着 Gemini 3 和 OpenAI 不断扩张，他预计基础模型会一直困在聊天这种形态里：灵活、自然，但并不高效。需要精细控制、透明度和交互，而且人不必把一切都写出来的工作流，通用消费级模型不会往这个方向发展。

Hwang 说，大多数用于科学的 AI 工具，只会建议更多靶点。他真正盯着的差距，是各方的认同。制药公司已经有结构化的季度靶点评审，有时还会迭代一套评分标准。Elicit 想把这套标准固化、做到可规模化，让任何科学家或任何靶点推荐模型都能在公开场合按同一标准打分，直到一个团队及其管理层对自己将要押下的赌注有了信心，并清楚那是在和其他有吸引力的选项竞争。这需要人来引导，靠的是组织协调，另一台想法生成器解决不了它。个人患者确实会用 Elicit，但这并不是核心场景，主要是探索式的兔子洞；真正的核心，是需要多学科协作、讲求透明、最终达成一致决定的团队。Labenz 在为自己的治疗收集文献时，依然无法判断前沿聊天机器人的搜索到底有多全面。他希望 Elicit 去翻动旗舰产品没有翻过的那些石头，正是在这一点上。

如果眯起眼睛看，这场现场直播的主线是：通用层正在被两头蚕食，上面是推出智能体的实验室，下面是凭感觉编程做出的应用；而剩下的难题，是样本高效的泛化、真正持久的记忆、以人类繁荣而非参与度为目标，以及在真实机构流程中做判断。值得盯住的是三月的 ARC-AGI-3：看模型能否用比第一次接触这个游戏的房产经纪人更少的操作通关。持续学习现在就能在 Opus 4.5 上当作一项技能来尝试；嵌套架构则是更长期的赌注。把同一个高风险问题同时拿去问 AI Studio 里的 Gemini 3 Pro、GPT 和 Claude：那种有主见的推搡、含糊其辞，以及反驳本身，都是信息。而 Kuyda 的谨慎，也是今年最不时髦、却最管用的一条规则：在成年人的实验出结果之前，不要去做拿孩子做的那个实验。