从通用人工智能（AGI）倒推：Magic 的 500 万 token 赌注

Sarah Guo 和 Elad Gil 在 No Priors 节目中请来了 Magic.dev 的联合创始人兼首席执行官 Eric Steinberger。这家公司正在打造一款编程助手，目标是更像同事，而不只是工具。主持人梳理了他的履历，它看起来不像一家语言模型实验室：他在 Meta 做过游戏相关的工作，待过一家名为 ClimateScience 的气候类非营利机构，现在则在做一个专门面向代码的定制模型。两位主持人也不是中立的嘉宾。Steinberger 后来感谢他们作为投资人，并提前致歉，万一 AGI 这场赌注没能成功。

他的起点比履历还要早。十四岁时，他经历了自己所说的中年危机，决定要把一生投入到某件重要的事情上。他花了一年时间考察一个十四岁少年会认真对待的各种选项，包括弦理论，但没有进展。他的母亲给他买了一本关于 AI 的书，他没有读。这个念头已经足够：这种东西能做任何事，所以他应该去做它，然后它就会做其余的所有事。

那时他还不会写代码。他在高中的那几年里学会了编程，接着判断强化学习是通往某种不会变得脆弱的系统的可行路线，于是开始动手摸索。后来，他给 DeepMind 的某位人士写了一封多页的邮件，提议做一个“迷你博士”：他是个彻头彻尾的新手，如果对方能每两周狠狠批评他一次、告诉他怎样才能成为一名好研究员，他就愿意接受。这封邮件起了作用。他逐渐变得能干，然后做了真正的研究，包括与 Meta 的 Noam Brown 合作，研究样本高效的强化学习算法。

他很直截了当地说，Magic 创办时他没有语言模型方面的背景。Transformer 一开始根本不在他的视野里，直到他注意到，如果把强化学习和这种架构放在一起，也许真的行得通。他说，这让他如释重负，不再为 AGI 将从何而来而感到那么不确定：把这两块拼起来，希望就有了。此后的公司，就是随之而来的赌注：一个专注于代码的大型定制模型，外加围绕它打造的产品。

问到为什么做 Magic、为什么选择代码，Steinberger 并不从市场地图讲起，他从终点讲起。如果目标是一个能做任何事的系统，那么可以把它归结为：构建一个能够构建这个系统的系统。最小版本会写代码、提出想法，并通过写更多代码和跑实验来验证这些想法。他也承认，这在复杂度上仍然和完整版本处于同一量级。

你可以跳过长尾。你不必训练一个 Sora，也不必考虑任何做通用领域产品的人都得服务的另外一百亿种用例。你只需要考虑代码，它在除算力之外的每个维度上都更简单。他原本以为，在算力上它也会便宜得多。现在他说，自己高估了这笔折扣，并会在剩下的访谈里反复修正这个说法。

Elad 注意到，Magic 走了一条不同的架构路线，据他所知，它是第一家公开宣布五百万 token 上下文窗口的实验室，时间大约在本次录制的一年前。Steinberger 的理由很务实。模型需要从自己的行动和合作者行动的长历史中学习，还需要吸收大量快速变化的数据。想象一下，一万名员工，或者全地球的人，每个人都配有一个个人模型，而它必须吞下每个人的整段生活。

你可以给每个人的模型做微调，也许借助 LoRA 之类的技巧。但在他看来，上下文的效果实际上更好。上下文学习是他认为 Transformer 中真正神奇的部分：一种在线优化器，直接作用于一堆材料，并不把它们压缩掉。一位同事用一句话概括了这一点，Steinberger 很喜欢，甚至想借用：与其把数据送到算力那里，不如把算力送到数据这里。整个系统的设计，都围绕着模型作用于它面前那堆数据。

领域上的理由是长时程工作。你希望把这些系统部署到持续很长时间的任务轨迹上，让它们长时间思考，并记住其中的一切。微调做不到这一点，因为随着上下文不断填满，每隔几千个 token 你就得重新微调一次。他暗示，等节目播出时，他们可能已经宣布了一个更大的数字。

Sarah 请他从直觉上解释，为什么这比检索更好。从机制上说，检索是为某一次补全挑选一部分数据；Magic 的模型则始终能看到全部数据。为某次补全挑出的子集，也是始终可见的全部数据的一个子集，所以如果检索是最优的，系统本可以学会它；但事实证明它并非最优。同一论证的通俗版本，是 Richard Sutton 的《苦涩的教训》：你要的是能自己学会启发式方法的东西，人手写的启发式方法本身则不值得依赖。质量仍要足够高，才值得为这个长窗口买单，这是评测问题，但这条原则本身是成立的。

代码生成领域另一项活跃的研究押注，是推理时搜索（test-time search），也就是在推理时投入更多算力。Steinberger 把模型性能描述为训练算力的某个函数，乘以推理时算力的某个函数，两者都是可以真正建模的规模定律（scaling law）曲线。在给定总预算和对推理量的估计之后，你会想找到最优的分配比例。你还得看用户愿意付钱的分布。

他预计，这种分布会极其尖锐：四个用户愿意花一百万美元，四十亿个用户只愿花 10 美分，中间是一条曲线。在那样的世界里，让用户自己选择，严格来说更好。如果你把所有算力都投入训练，让百万美元级的答案只能纯粹依靠权重得出，那你做的事，用他的话说，效率低得可笑。你完全可以部署多种设置，让推理上的开销成为一个可以调节的旋钮。

问题在于，这个旋钮并不简单。找到合适的算法很难，尽管强化学习领域的人已经做了十年类似的事情。除 Noam Brown 之外，他不愿列出更多名字，但他说，有一批实验室和研究者对此一点都不意外。仍然困难的是通用领域。那里既没有棋盘，也没有现成的游戏规则。

Elad 打了一个比方：人类的停顿。碰到一个难题时，你会停下来思考，这种停顿就是推理时算力。Steinberger 表示同意，接着又加了一个限制条件。有些技能必须在训练中学会。如果你从来没学过编程，那么在现场花推理算力去学编程，理论上可行，但他说这也很荒唐；而且这是所有提问者共享的知识，不把它放进训练里，那就太傻了。前沿数学则是另一个极端。他很想在电脑里有一个陶哲轩，但即便如此，他仍需要让陶哲轩运行相当于一年人类思考的时间。陶哲轩不会一个 token 一个 token 地吐出一份黎曼猜想的证明。纯靠训练去买下这种能力，可能要花一千万亿美元，甚至可能根本没有足够的数据。

如果公司最终要构建 AGI，这会如何改变路线图？Steinberger 回到了他早先与主持人的一次谈话，谈的是安全风险的阶跃式变化。他说，人们短期内很多恐慌的事情，在宏观层面上并不重要，有些人会因为他这么说而生气。当前的抱怨，与过去每项技术都曾承受过的抱怨并无二致，而且是可以解决的。接下来，就是演化层面的那个问题。

人类之所以成功，是因为比黑猩猩聪明，也比兔子聪明。兔子没有统治世界。如果它们统治了，大概会很可爱，但对我们来说不太好。他说，我们正在把自己变成兔子和猿类，同时创造出一个所有人都预期会聪明得多的东西——“这太疯狂了。”在他看来，唯一合理的办法是这种递归式的做法：迭代到系统非常擅长编写代码，然后让它自举出下一个版本。你要求模型在那个阶段解决对齐和安全问题，然后再决定是否迈出下一步。

最终目标是在安全边界之内迭代走向 AGI。人类世界里没有这样的旋钮。你可以承诺把一定比例的资源投入安全，但那并不能说明结果如何。算力在一定程度上是可以控制的。电脑里如果有十万名聪明的研究员，胜过一百名，尤其是当他们能连接彼此的大脑时；然后你用这个新系统去做更多安全研究，再自我引导。即便出于善意，他也不认为我们在没有自动化的情况下，有机制能把安全放在优先位置。

如果他们成功了，尤其是率先成功或较早成功，一颗利润丰厚得惊人的苹果就会掉下树来，恰好把我们所说的大部分工作自动化。他把这视为必须承担的责任，它不是顺带产生的副作用：这其实不只是助手，你把它放在那里，同它交谈，它就是那位同事。用更少的投入换来更多的产出，如果做得好，那就太棒了。资本主义和竞争可以很好：全部的进步史都来自于此。“如果我们不支持自动化，大家都会去种地。”这让人害怕，尤其是对那些会受到影响、又不像他那样坐在幸运位置上的人来说。ChatGPT 是第一种具有划时代意义的新事物。他希望 Magic 能成为第二种，也许是第三种，那种你可以查询黎曼猜想解答的东西；然后在这个领域，那大概就是最后一步了。

Sarah 把两件事分开来谈：模型，以及人们与它接触的方式。上次他们单独聊的时候，争论的是一个以代码为先的 AGI 项目需要多少算力。Steinberger 的更新很简短：他错了。大型实验室已经大量使用人类生成的编程数据，也已经很在意这个用例，所以很多方面都是直接竞争。更广大的世界已经明白，代码很有用，而且可以投入算力来提升编程性能，因此对算力的需求非常大。

在本期节目播出的同时，他们将宣布一个他说会是有史以来最大规模集群之一的项目。这就是那个修正。他仍然相信存在一个“足够”的概念，搜索就是他举的例子，但门槛可能非常高。如果你拿 Gemini 1.5 Pro，把它妥善地接入谷歌的搜索系统，然后换上 Gemini 4，他认为没有人会注意到，除非新模型证明了黎曼猜想。99% 的搜索用例根本分辨不出差别。AI Overviews 已经把这份工作做好了。

在他描绘的图景里，每项任务都有一条算力线，超过它之后，更多的规模就不会在用户面前显现出来。即使把能证明黎曼猜想的模型变得聪明一百倍，你拿到的仍然是同一个证明。他低估了代码所需的那个数字，也低估了其他人会有多专注于代码。关于那次单独对谈，他告诉 Sarah：这一局是她赢了。

在产品方面，每一轮内部 UX 迭代最后都落进了他所说的“恐怖谷”。补全功能是最简单的版本，他们决定不发布，因为下一代产品显然会让它显得过时。他们花了几个月做下一代功能的原型，看到了一些生命迹象，但仍不敢拿它来写真正的工作，两位主持人在投资时就试过。然后，下一代模型能把那种最终形态里应有的其他功能全部做到，所以现在就上线感觉很蠢。他们陷入了一种不断不发布的递归循环。

摆脱困境的办法，他们决定，是先明确最终的 UX，并且不再允许自己达不到它。他认为，你可以在完全自动化之前推出一个极其能干的助手；推出一个平庸能干的助手，才是陷阱。在内部，他们设定了一个期限：如果还没有做出那位目前谁都没有的天才同事，也就是那种在团队里真正像天才的东西，他们就会发布较差的那个助手。他宁愿达到高标准。实际情况是，硬核工程就像一百场救火，有些项目会推迟，但没有任何东西卡住，而他仍然乐观。

一个助手是平庸还是出色，关键在于可靠性。当他的一位工程师写了一段代码，另一位工程师审查时，他就不会再去看。那段代码已经经过两个他信任的人。这就是完全自动化的标准：他不打算自己做代码审查。你也可以推出一款需要你自己审查的产品，只要审查不让人抓狂。如果审查很费劲，而你还得修掉一半的问题、一半的 PR，那这款产品的标准就根本没有达到。雄心也是原因之一。更大的主张是：一个市场会以阶跃式的方式被打开。

用户不会再继续用 VS Code 写代码，然后把代码发给同事。他们会用 Magic，或者任何先做好这件事的人，来写代码，扫一眼，偶尔修正一下，最终连扫一眼都不必了。他不相信你只会用它处理 5% 的任务，要么用它处理 90%，要么一个都不用。Sarah 问，能不能按用例切分，比如在某一类事情上可靠。他认为，在模型层面不行。你可以逐个垂直领域地推出一款 UI 构建器，逐步添加功能；从一个可靠的模型到覆盖所有用例，这一步跨度并不大。产品和市场推广可以逐个击破，模型却不能。

Steinberger 说，现在组建一支高度可信的团队很容易，因为他们从主持人认识的人那里募集到了惊人的资金，而且成果连风险厌恶型的候选人也能看懂。但一开始并不容易。当 Dario Amodei 出去创业时，人们对结果的信任几乎是免费的，一句“你好，我做过 GPT-3”就够了。Magic 则得自己去赢得这份信任。他们的策略是招募那些不在聚光灯下的人。

他们招的其中一人曾在亚马逊的 Alexa AI 部门工作，讨厌那里，但什么都懂：每一篇论文，每一个 Steinberger 抛给他的旁支话题。他学的是工程，后来误打误撞进入了这个领域，结果成了 Steinberger 共事过的最聪明的人之一。加入之后，他发明了一种用于模型训练的新分片维度。要找到这样的人，得真正留心。回报是一种干劲和忠诚，如果你挖走的是显而易见的明星，你是得不到的。

他们并不打算通过挖一个能告诉他们 GPT 是怎样训练出来的实验室成员来获取 IP。他们从来没有这么做过，也不会这么做。他希望能再找到大约四倍于现在已知如何寻找的那类人。必须落地的使命，也就是有安全边界的 AGI 递归，需要大量的脑力，或者对组织的大量信任。他说，那里的每个人都在乎这件事，没有人是为了营销上的噱头去做的。

一名核心工程师负责推理引擎和部分 kernel。他是在公司宣布的这轮巨额融资之前加入的，那时 Magic 的规模与其他任何实验室相比都显得很小。被问到想要什么，他说想试着成为英伟达之外最好的 kernel 工程师。Steinberger 说，这并不是傲慢；那是一个多年来一直在做这件事的人，需要一个足够艰难的环境，才能让他继续做下去。此后他每天都在埋头苦干。这就是 Steinberger 想培养的文化：安静的野心、谦逊、每天按时到岗，不为了在旧金山的圈子里博取印象，而凌晨三点还待在办公室里做样子；因为在乎，所以一直在工作，同时努力保持健康。

AGI 是什么样子？你和它交谈，它做任何事，然后它会问你两个问题。他说，这些影响需要的时间比一期播客还长，而且会被那些只挑一方站队的人搞得一团糟。集中权力非常糟糕，所以你应该把一切都开源。这句话他请他们不要当作他的正式立场来引用，因为他并不相信这是一个完整的论断。另一句话是：这就像核武器，你不能开源如何制造炸弹。两句话都对，像这样两边都成立的问题有十个。人们在社交平台上只争论一方，无视另一方。他认为大约有一万种可能的未来，我们最终得到哪一种，取决于能否找到一个理性的中间地带，并管理好理性的辩论。

他真心相信，资本主义和竞争是唯一能把我们带到正确地方的优化器，前提是配上正确的护栏——护栏不能愚蠢，也不能没有，要的是正确的那一种。到最后，电脑上的工作会被自动化，工厂里的机器人工作大概也会，不过他还没有去算那套成本结构。人类不会被要求为了经济回报而工作，但很可能仍然能够工作。财产仍然存在，如果你拥有公寓，这不会消失。他对之后情形的一个概念验证是 Etsy。你可以买到外观一模一样的中国制造版本，人们却依然为人手做的那一件付钱。他认为这个类别会变得非常大，并告诉 Etsy 的首席执行官 Josh Silverman，即便公司本身在边缘部分被自动化，也要挺住。游戏会非常庞大，因为一旦工作不再提供竞争的舞台，好胜的人就需要一个新的竞技场。

奇怪的是，他认为像他们三人这样的人，在意义感上受到的冲击最大。他每天都热爱自己所做的事情；他能构建 AGI；与其他有能力的人竞争，乐趣无穷。这种满足感会被删除。好胜的能力也会被删除，正如深蓝（Deep Blue）已经把国际象棋的人类竞争删掉了。希望 Magic 或某个 AI 系统在编程上击败所有人，接着就会出现一个 CEO 系统，而负责任的决定是让那个系统来担任这份工作，包括他自己的职位。他估计，社会中 10% 到 20% 的人会深感挫败，大约 70% 的人可能无动于衷或感到快乐，其余的人则兴奋并蓬勃发展。Elad 提到 Ryan Avent 2016 年的著作《The Wealth of Humans》，它其实不算一本关于 AGI 的书：在丰裕的时代，身份认同从哪里来？全民基本收入（UBI）可以发钱，却解决不了这个问题。Elad 认为，三十年的丰裕与相对和平，可能已经制造出一层人们当作真实问题来对待的麻烦。

Sarah 问，他真正希望 Magic 回答哪些新的知识：黎曼猜想、纳维-斯托克斯方程、P 与 NP 问题，还有气候。他诚实的回答是，所有这些问题都会得到解答。对他来说，也可以说对公司里的大多数人来说，北极星是三十年后世界仍处于好的状态，而我们谈论这件事的方式，会像今天谈论手机那样。工作会被自动化；我们得找到新的意义；政府得弄清楚经济。那些被解决的问题只是很好的附带效果。真正必须去尝试的，是让这场过渡顺利进行。如果不糟糕，那它就会很美好，因为他想象不出平庸的 AGI 未来，它不存在。所有的失败模式都很糟糕；其余的则是：没有人挨饿、算力无限、有新的意义，以及没有人死去。不确定性的云正在坍缩为双峰分布；坐在他这个位置上，他觉得自己没有权利去想别的事情。Sarah 补充说：分布是右偏的，事情会变好的。

Sarah 最后一个产品问题是：一位同事，而不只是一个补全框，要怎样与开发者技术栈的其余部分打交道，包括 IDE 以及周边的一切。Magic 首先是一家模型公司。Steinberger 在集成问题上改过四次想法，他认为大家仍在尝试各种做法，所以市场会做出决定。当前的信念是，系统应当像一名员工一样行事：使用你已经提供给员工的那套工具，界面要么相同，要么专门设计成让 AI 比人类更好地使用这套工具。

Grafana 的日志接入就是例子：他确信，模型使用它有比人类更好的方式。他预计，会有公司接入 Magic，也会有公司接入与 Magic 竞争的对象。工具会为 AI 做适配，就像网站为了谷歌的爬虫做过优化一样；没有做适配的，模型就直接原生使用。智能体，也就是模型本身，才是最重要的东西。其他一切都会由别的公司围绕它来销售，而那一大批包装类公司会被自己做智能体工作的 AI 实验室吞并。如果你自己做工具，也会一样被吞并，只因为模型会学着采用每一个人的工具。他喜欢从终点出发来思考：模型以人类的方式使用东西，然后也许还会比人类用得更多。