不到 100 人，2400 万用户：Replit 押注人工开发者智能

《The Cognitive Revolution》主持人 Nathan Labenz 已经把 Replit 视为全球仅有的 15 到 20 家“活跃玩家”之一。在上一期节目里，他花了十分钟论证，这个云端 IDE 可能成为地球上最重要的公司之一；如果要选一个平台来承载人与 AI 协作的经济，他会选 Replit。这一期，他和公司新任 AI 副总裁 Michele Catasta 深入聊了聊。Catasta 刚从谷歌离职，并发表了一份面向接下来十亿软件开发者的宣言。宣言中的口号是人工开发者智能（ADI），这是对 AGI 的刻意仿拟。

Catasta 把 ADI 称为中期路线图，而不是需要几十年才能完成的项目。他之所以把这个名字和 AGI 区分开，理由很直接：他不想留下一个关于通用人工智能何时到来的预测。他说，多数人都认为它会到来；Replit 关心的，是未来几年能给开发者带来什么，而不是二十年的预测。GitHub Copilot 已经证明，代码补全是有用的。Replit 的 Ghostwriter 既能补全代码，也能像结对编程的搭档一样对话。这份宣言想把这件事再往前推一步，服务于那些没有计算机科学背景、来到网站后想尽快把创意变成原型的人。

今天的模型生成的代码通常符合用户的意图，但偶尔会出错。有经验的开发者，包括 Catasta 在内，知道怎样从 GPT 或 PaLM 的错误里爬出来。从没写过多少代码的人，一遇到第一个异常就卡住了。ADI 描绘的，就是如何通过几轮迭代填平这道鸿沟：AI 生成代码，Replit 的执行环境运行它，用户反馈和运行时错误再被送回模型，模型重新生成，直到程序真正能跑，并符合需求。他说，这个循环是公司的雄心目标，他觉得再过几年，可能就足以做出一些有力量的东西。在宣言里，他甚至把老牌的 REPL（read-eval-print loop）重新解读为反思（reflect）、评估（evaluate）、沉淀（percolate）和学习（learn）。

Labenz 从另一个角度看到了同样的浪潮。他是 Athena（一家做高管助理的公司）的顾问，并一直在教从来没写过代码的人，在 Replit 上操作应用程序。他们跳过了 for 循环和语法。顶层的框架，他们常常先去 GPT-4 那里生成，GPT-4 仍被他们当作“老板模型”，然后再回到 Replit，用内置工具在本地反复迭代。他说，现在才是 2023 年，那些原本没想过会被要求写代码的人，已经有所进展。Catasta 并不意外。自从第一批 Transformer 生成器出现以来，时间线比他预想的要紧凑得多。

Replit 每个月都会办黑客松，大多以 AI 为主题，来的很多人本职并不是软件工程师。产品经理的表现尤其好。他们的日常工作就是用英文写需求，所以面对 GPT-4 时，他们能准确描述想要什么，拿到输出，再让 Replit 把各个部分拼起来并进行调试。异常一出现，Ghostwriter 的调试器就能当场给出修复建议。Catasta 亲眼看到，产品经理在第一次写代码的经历中就赢得了黑客松。他希望这种路径成为人们学习的默认方式：先写提示词，之后再补上底层细节。

障碍是成本。AI 训练很贵，服务起来更贵，而 Replit 刚刚突破 2400 万用户。一旦把强大的模型放到这么多人面前，单位经济效益就变得至关重要。Catasta 仍然看到一个未来：至少一部分基础 AI 功能是免费的，因为规模在不断提升。他并不后悔用老办法学会写代码，但如果他是一个初学者，他会很喜欢 Replit：把时间花在有趣的问题上，而不是花在没闭合的括号上。Andrej Karpathy 说过，没有 Copilot，他会浪费掉一半的生产力。Catasta 认为，对所有写软件的人，包括专家在内，这会成为共识。

Catasta 来自谷歌，而 Replit 与谷歌现在有一项合作，涵盖投资、云服务和产品。他在谷歌内部是推动者，而不是拍板的人。他原本就是 Replit 的粉丝，曾向 CEO Amjad Masad 和团队演示过 PaLM，编程方面的工作被称为 PaLM Coder。之后，他先是以非正式顾问的身份保持联络，然后成为正式顾问，最后全职加入。“这是一个慢慢炖出来的过程。”他为此感到高兴，这项合作是在他离开之后才达成的。Replit 要为数百万用户提供算力，这是公司自己难以独立承担的。

Labenz 点出了其中的权衡：Catasta 离开了或许是全球最密集的 AI 实验室之一，去了一家还不到 100 人的公司，而那在他的“活跃玩家”名单上是最小的一个。有些事在谷歌单靠资源就能做成，会容易很多。另一面是流程更少，迭代更快，还可以推翻一个决定，而不必把它当作沉没成本。Catasta 并不认为自己长期属于大公司。Replit 的重点很窄：为它的开发者提供尽可能好的 AI。老牌公司通过 API 改变了格局，但创业公司如果做出老牌公司不会做的产品，仍有空间。他不会去跟 Google Docs 正面硬拼，而是想尝试一种不同的编辑方式，让生成式 AI 成为一等公民。在他的描述里，Replit 正是这样一种产品。

Labenz 又提出一个转折：按人数算，Replit 很小，但作为平台，它已经是一家老牌公司了。他训练的助理从来不会碰到本地环境、Python 版本地狱和设置同步这些老问题。容器、多人协作和历史记录都已经具备，AI 层可以直接叠加在上面。Catasta 同意，正是这个 AI 之前的优势让他加入，他也喜欢公司里没有人说话像已经成功了一样。公司听起来仍然像一家创业公司，这件事要三年，那件事要五年。被问到 Replit 是否自认为是 e/acc 公司时，他说自己更像是推特上的旁观者，而不是党派人士。新员工入职页面写明，公司在政治上保持中立。进步是使命，标签不是。

谈到 AI，他在“政治”和“负责任”之间划了一条线，并不希望政治渗入这个领域。目前还没有现成的打法。社交媒体已经存在十五年以上，他认为，它至今仍没有得到恰当的监管；而 AI 更新，潜力也可能更大。Replit 的处境相对幸运：它生成的是代码，而不是文本或图片，因此避开了假新闻、有版权的图库照片和人脸识别等问题。公司内部讨论的重点，是如何让用户了解公司到底在做什么，因此他们开源了一个大语言模型和一个开放数据集，讨论的是这些，而不是 AGI 本身。他说，透明比闭门造车强。至于政治争论，他们没有精力去顾及。

Replit 的《AI 开发现状》报告曾指出 LangChain 的崛起。这个库在 2023 年中，经历了短暂的走红期后，开始招致公众的批评。Catasta 不会劝任何人远离它。至少它是一座宝库：由 Harrison Chase 带领的团队，常常能在 24 小时内把新论文的实现上线。框架都有自己的生命周期。Django 和 Ruby on Rails 在要求开发者以某种方式工作时，也经历过同样的批评。调试一条链，比调试自己的代码更难，这是实打实的成本，而不是感觉。他说，给这个项目一些时间，等它发布下一个版本。即使 LangChain 永远无法在生产环境里占据主导，一天之内就能复现论文，也是这个领域辨别论文结论真假的办法。

谈到生产力，Catasta 罕见地喜欢用数字说话。2 倍这个门槛，代码补全已经做到了。GitHub Copilot 公布过开发者速度最多提升 55% 的数据；Replit 在 Ghostwriter 上也看到了相近的采纳率，只是没有公开。现在有不少人在推特上说，没有现代的代码补全，他们会浪费一半的时间。他认为，10 倍大约一年内可以实现，关键不在于生成更大段的代码，而在于更好的调试能力和更像智能体的行为。模型提出架构，搭建框架，写出基本实现；开发者负责补上粘合代码，并清掉剩下的 bug。

1000 倍的开发者，是 Amjad Masad 的北极星目标，Catasta 说，这一步还需要一段时间。这幅图景的重点，是一个能够协调现有工具和服务的模型，而不只是更好的自动补全。人就变成了一名带着一群 AI 实习生的技术负责人。需要数据管道？如果 Replit 已经有一个能抓取、处理并把结果汇总上来的工具，你就不必亲手去写。要做到这种独立，远非易事。而且，他接下来会论证，业余爱好者能拿到的并不是同一种倍数。

Labenz 感到认知上的不协调。如果十亿开发者增加，而且每人的生产力还提高十倍，那就相当于一百亿名当前开发者的产能，也就是说，平均每个地球人都相当于一名以上活跃程序员的产出。需求在哪里？Catasta 把曲线拆开来看。横向增长指的是接下来的十亿人。这并不意味着其中九成会写出下一个 LangChain 或下一个谷歌。它意味着编程会变成一种基本技能，就像 Excel 宏、iOS 快捷指令，或是如今悄悄出现在 Google Docs 里的变量那样。懂技术的人本来就想把生活中繁琐的部分自动化。他在 Replit 的黑客松上见过一些 WhatsApp 机器人，能替一群朋友订披萨。这些产品永远不会有商业模式，但人们仍会为自己和朋友去做。

纵向倍数，尤其是 1000 倍，并不适用于那些业余爱好者。它适用于 John Carmack 和 Jeff Dean 这样的人：他们带过非常大的团队，可能会用智能体和 API 替换掉团队的一部分。Catasta 说，目标在于让更多人有能力建立严肃的公司，而非取代开发者：少一些庞大的公司，多一些在难题上发力的中型创业公司。Labenz 在 Athena 时的口头禅是“复制并定制”：复制一个模板，把它接到这个消息工具、那个任务追踪器、这份电子表格上。Flo Crivello 在前一期节目中打过一个比方：铝制易拉罐。拿破仑那个年代，只有他能用上铝制品，现在我们把易拉罐随手扔掉。Catasta 说，这正是 Replit 想要的未来：到处都是一次性使用的软件，随时就能被启动。

大型软件仍然需要流程、管理和大量人力。变化的是，被探索的好点子的池子会变大。Labenz 追问了一个隐含的假设：今天的模型在编程上已经能胜过普通人，在有固定流程的专家任务上也越来越接近，但它们仍然给不出新的科学假设或产品概念的火花。Catasta 同意。这也是公司把这场赌注命名为 ADI 而不是 AGI 的原因。那种创造性的跃迁，比如设计下一个 LangChain，仍然是人类的智力。如果明年就出现一个这么聪明的系统，它将重塑每一家公司，包括 Replit 在内。在那之前，眼下的计划是把基础技能拉平，把创造性的过程留给人。

学生问 Catasta，是否应该退出计算机科学学位，他的回答是不该。总得有人设计下一个库和下一门语言。照他的说法，这个领域的六十多年，就是一连串新的抽象层：穿孔卡片，然后是汇编，然后是 C，再到内核、库和网页框架。每一次转变，都来自人们在反模式和痛苦中摸索。AI 能学会用我们今天的方式写代码，却想不出两年后我们会怎样写代码。这仍然是人的工作，而且如果繁琐的任务消失了，这份工作还会更有意思。

他并没有排除模型突然接管创造性过程的可能性，只是拒绝围绕它来规划公司。AI 有过炒作周期，也有过寒冬。他回忆说，1960 年代初，Marvin Minsky 认为一个暑期实习生就能解决计算机视觉问题；而要做出符合这一设想的模型，花了大约六十年。把 Replit 的全部筹码押在两年内实现 AGI，那就是一种偏执，而不是策略。他的概率押在 ADI 上。如果那个小概率事件率先到来，公司在研究圈里的消息足够灵通，能第一时间听到；而其他所有人，届时也不会再谈别的了。

Labenz 不希望为了某种可能出现的颠覆性东西，继续把训练算力再扩大一千倍。Catasta 承认自己没有深入研究安全领域的文献，他认为这种扩张无论如何都会发生。有影响力的人士发出的公开信，并没有放慢进展。如今即便是创业公司，也有资金建起大规模的 H100 集群，他举的例子是 Inflection。他说，讨论怎么阻止这件事没有意义。有用的工作，是提前做好准备，让事情不至于朝最糟的方向发展。他对人类的未来持“宏观乐观”的态度。推特和大众媒体上的末日论调，包括炸毁数据中心的言论，在他看来是开启讨论的糟糕方式，尤其是对刚刚走出两年多疫情恐慌的公众而言。在他看来，极端的说法从来没有帮上什么忙。

Labenz 列出了几项可能的护城河：现有的基础设施，包括多人协作；按行内频率获得的用户反馈；社区和赏金。谈到反馈，他点名了两家公司：微软和 Replit。Catasta 插话：“我们得到的比微软还多。”VS Code 是本地的客户端体验，Replit 运行在云端，所以后端能看到一切。照他的说法，拥有这类数据的只有两个地方：谷歌内部的 IDE，以及 Replit；而 Replit 的用户基数要大得多。微软确实会记录 Copilot 的交互，他们据此发布指标。但 Catasta 说，它记不到的是击键记录和完整的编辑历史。在 VS Code 里做这件事，会带来法律和公关上的噩梦。Replit 本来就必须保留这段历史，用于回滚，也用于协调多人协作的会话。他很想拿它来训练模型。

社区条款正在公开撰写。文档中将加入退出选项。Replit 只用宽松许可的代码和公开的 Repl 进行训练，私有 Repl 不会被动用，这是对 Catasta 所说的 Copilot 最初错误的回应。在美国，合理使用在法律上可能处于灰色地带，但他更愿意“对用户负责”。从长远看，他希望能够署名：Bing Chat 已经会链接到对回答有贡献的 GitHub 代码片段；他甚至希望，如果某个用户的公开代码带来了大量补全，就能分成收益。他承认，这个想法几乎是个说不清的问题：常见的模式到处都有，也很难说该付钱给谁。在诉讼和行业标准尘埃落定之前，公司会遵循它认为的良好做法，并随时调整。

在他看来，定制模型的秘诀并不在权重里。它们证明公司有能力做这件事，是一种招聘信号，也是一种回馈社区的方式。Replit 建立在开源之上；发布一个基于 BigCode 的 The Stack 训练的基线模型，几乎是一个不用纠结的决定。正式使用的模型则不同：在 Replit 自己的数据上做进一步的预训练，这些数据不会公开，视语言不同，提升幅度最高可达 50%。设计上的约束是延迟。大多数补全应该在 100 到 150 毫秒内返回，这是让人感觉“瞬时”的门槛。这迫使他们在手头的 GPU 上使用大约 30 亿参数的模型。Copilot 常常要至少一秒。Catasta 说，Replit 的用户更喜欢即时送达的较短补全。

训练是在 MosaicML 的集群上完成的，前面花了两周左右做消融实验，之后由大约两个半人用十天冲刺完成。Catasta 这边负责数据、小模型研究、自定义词表、架构和训练计划；Mosaic 负责调度节点，并随时待命。他们全天盯着 Weights & Biases 的面板。词表大小是 32k，和 Llama 首个版本一样，而不是 GPT-3.5 和 GPT-4 的约 10 万。压缩率稍差，每个词元约三个字符，而不是四个，换来的是更快的推理；而且因为分词器是在代码上训练的，它对代码的压缩反而更好。在一些自包含的推理基准上，这个小模型甚至能与 Llama 7B 一较高下，这是在代码上训练的副产品。世界知识仍然需要规模和检索。Catasta 的观点是，并非每项工作都必须做成超大模型。

Labenz 一直在随手对代码模型做红队测试。5 月，Replit 毫不犹豫地给他写了一个拒绝服务攻击的脚本；8 月，它就拒绝了。Catasta 的解释很实际。团队太小，没法自己组建红队，所以依赖第三方提供方。Ghostwriter Chat 用的是谷歌和 OpenAI 的模型，加上 Replit 自己的提示词和检索；自研模型主要用于补全。按他的说法，GPT-3.5 在三月和六月两个版本之间变化的，是 RLHF 下的行为，而不是基础能力。Llama 2 也一样会被越狱。他说，这就是这类东西的本质。他请用户耐心一些。社区里还没有人解决这个问题，Replit 也不太可能率先解决。Labenz 认为，一个代码平台的聊天功能仍然依赖商业模型，这一事实本身就说明，其他公司不该想当然地认为最新的开源权重可以直接上生产环境。

成本是个变动的目标。AI 功能的使用量，正如《AI 开发现状》报告所描述的那样在增长：一旦 Ghostwriter 成为人们喜欢的结对编程搭档，使用量会远超预期。第三方模型按流量计费，而不是按服务器运行时长计费。Catasta 说，现在如果给出一个详细的单位成本数字，两周后就会过时。OpenAI 在 18 个月里把 API 价格降了约两个数量级，因此他预计经济账还会继续改善。眼下的任务，是摸清怎样让 AI 对 Replit 用户有用，同时尽量不把公司拖垮。他并不认同“付费用户自然就没问题”的看法。把 GPT-4 交给一个重度用户，几天之内公司就可能在这个人身上开始亏钱，这也是为什么连 ChatGPT Pro 都会限制 GPT-4 的消息数。难点在于 2000 万以上的非付费用户。补全功能，用的是他们自己拥有、又已经熟悉部署方式的模型，可能会率先免费。即使推理变便宜，把 GPT-4 或 Gemini 级别的聊天功能开放给整个免费层，还需要一段时间。

边缘推理已经被摆上了白板，既可以跑在设备上，也可以跑在每个 Repl 有限的容器里。社区已经给出了方向：有人用 ggml 把 Replit 公开的 30 亿参数模型包装起来，放进一个 VS Code 扩展里，在 MacBook 上得到的补全速度可以和网站上相当。近期的产品预告更直接。Ghostwriter 正在进行新的内部项目，目标是出现在 IDE 的更多角落，而不只是一个聊天窗格。开源模型还会按半定期的节奏陆续发布；第一次发布就带入了社区的指令微调数据，这是 Replit 没有预料到的。把视角拉远，Labenz 引用了 Amjad Masad 的一条推文，说 Replit 是“通用人工智能的完美基底”。Catasta 的看法并不是科幻。未来的 AGI 应该像一个好的开发者：它应该知道调用哪些服务、API 和算力，而不是从零开始生成一切。在他看来，AutoGPT 式的实验之所以没有变成 AGI，是因为 GPT-4 无法调动工具和硬件。Replit 正是一个可以做到这一点的地方。

被问到会把哪家公司加入一份改变世界的 AI 实验室短名单时，Catasta 提到了 Perplexity。它在新功能的推进速度上，让他想起早期的 Replit；而且它正在挑战搜索领域，这个领域已经被一家公司统治了二十多年。他时不时会和 CEO Aravind Srinivas 聊一聊，“找点灵感”。一家不到 100 人公司的 AI 副总裁，看着另一支小团队往上爬，这正是 2023 年格局的一个相当贴切的缩影：席位不多，但每个人都在飞快地向前。