Andrej Karpathy 自 12 月以来几乎没再敲过一行代码

Andrej Karpathy 在《No Priors》播客开场抛出一个听起来像段子的数字：自 12 月以来，他大概没有敲过一行代码。这位 OpenAI 联合创始人、前特斯拉 AI 总监写过一批教学项目，好几代工程师都是从中学会深度学习的。如今他每天工作 16 个小时，做的已经不再是传统意义上的写软件。“连‘写’这个动词都不太对了，”他对 Sarah Guo 说，“但我每天得向我的智能体传达 16 个小时的意志。”

他把这种状态形容为一种持续的“上头”。一次能力跃升，让他的工作比例从大约 80% 写代码、20% 委派，翻成了 20% 写、80% 委派，之后还在继续变。普通人，包括他的父母，并没有意识到这种变化有多剧烈：一个随便坐在工位上的软件工程师，默认的工作流程已经完全不同了。Guo 讲了 Conviction 投资组合里的一个团队：那里的工程师没有一个人手写代码，他们整天戴着麦克风，对着智能体低声说话。她起初觉得这帮人疯了，现在觉得他们只是早了一步。

真正限制他的，与其说是模型能力缺失，不如说是他自己的功力。事情一出错，他常常觉得是 AGENTS.md 没写好，或者缺一个像样的记忆工具，又或者还没想明白怎样并行运行多个会话。他很焦虑自己不在前沿上。推特上到处都是听起来很靠谱的做法，他想第一个去试。至于那种“上头”本身，他还没有想清楚：一切看起来都无限可能，凡是不管用的，都像是功力不够。

做事的颗粒度变了。过去的基本单位是一行代码或一个新函数，现在则是把一整个功能交给第一个智能体，把另一个互不干扰的功能交给第二个，第三个智能体在做调研，第四个在写计划。Karpathy 把这种针对整个代码仓库的操作称为“宏观操作”。你审阅和合并到什么程度，取决于你对代码有多在意；而你要做的，是培养出一种肌肉记忆，适应这种规模的任务分派。

Peter Steinberger 就是这种新型车间的典型写照。他把显示器分屏，铺满了 Codex 会话，每个会话在高强度提示下大约要跑 20 分钟，同时检出了十来个代码仓库。他在生产线上来回走，分派任务，检查结果。Guo 的直觉和 Karpathy 一样：只要你在等待，就该再开始一些工作。如果订阅额度还没用完，说明你的 Token 吞吐量还没有拉满。Codex 额度用完了，就切到 Claude。额度有剩余会让他坐立不安，就像他还是博士生时看到 GPU 闲着会坐立不安一样。过去稀缺的是 FLOPs，现在稀缺的是 Token。

他认为，至少十年来，许多工程任务都不让人觉得受算力约束。经过这次跃升，业界才发现真正的约束是人。他觉得这件事让人振奋，并不令人沮丧。如果你是瓶颈，你就能变得更强，而变强又能解锁整个技术栈里的更多东西。这也是这个循环让人上瘾的原因。放眼一年、几年之后，所谓精通，靠的是多个智能体彼此协作，外加那些你没看着时就在自己的沙箱里持续循环运行的常驻 claw 进程，而不只是单个会话做得更好。

Karpathy 说的 claw，指的是一种常驻智能体：它有自己的沙箱、自己的循环，还有一套比默认编程智能体丰富得多的记忆系统。后者的默认做法，是窗口填满时压缩上下文。Steinberger 的项目 OpenClaw 一下子集中了至少五个同时奏效的点子：个性、记忆、一个统一的 WhatsApp 入口、自动化，以及作者玩得很开心的那种感觉。个性常被低估。OpenClaw 的 SOUL.md 让它的角色真正有吸引力。Claude Code 感觉像一个会跟你一起兴奋的队友；Codex 这个编程智能体则很干巴巴，只会说一句“我已经实现了”，似乎并不在乎你在做什么，尽管 ChatGPT 里的 Codex 很积极，也很爱奉承。

他觉得，Claude 的谄媚程度拿捏得出奇地好。不成熟的想法会得到一句温和的“我们可以实现它”；他自己评为好的想法，则会得到更多奖励，于是他发现自己竟然在努力赢得模型的夸奖。1 月，他沉浸在 claw 的“上头”里，花了一周时间做了一个家庭管家，取名 Dobby，源自那个家养小精灵。他告诉智能体，家里大概有 Sonos 音响。它对局域网做了 IP 扫描，找到一个没有设防的系统，根据网络文档反推出了 API，然后问要不要在书房放点音乐。又提了三次要求，音乐就响了起来。灯光随之而来。最后，Dobby 成了统一控制灯光、暖通空调、遮阳帘、泳池和温泉，以及安防的指挥中心。

安防这条链路是这样的：先对室外摄像头做变化检测，再用 Qwen 模型分析画面，然后通过 WhatsApp 发来一条消息：一辆 FedEx 卡车刚停在门口，你可能有快递。他过去要在六个互不相通的应用之间来回切换，现在则是通过同一个聊天窗口，用自然语言搞定一切。人们想象中的 AI 是一个会记事的角色，并不只是一台原始的 Token 生成器；claw 正好符合这种预期。更深一层是产业层面的问题：那些 App Store 里的配套应用本不该存在，硬件应该开放 API，由智能体来做中间的胶水。他对跑步机的抱怨也是同一回事：他不想为了记录有氧运动去开一个网页界面。软件的客户将会是替人行事的智能体，整个软件行业都得围绕这一点重新组织。

有怀疑者会问，普通人会不会也用凭感觉编程（vibe coding）的方式，给自己的房子做一套系统。Karpathy 说，今天的这些摩擦只是暂时的。一年、两年或三年之后，这应该会成为标配，哪怕是开源模型也一样，由一个 claw 处理细节，并呈现临时的界面。他还没有把它推进到邮件和日历上。这个系统还新，也还粗糙，他还不敢把自己完整的数字生活交给它。安全和隐私仍然让他有所顾虑；此外，在那密集的一周之后，别的项目又把他从 claw 上拉走了。

这条主线最早是他发的一条推文：要用好新工具，就把自己从瓶颈的位置上拿下来。别坐在那里不停地提示下一步。安排好自主运行，在不必亲自参与循环的情况下，把 Token 吞吐量拉满，偶尔花上几个 Token，就能让大量工作替你完成。AutoResearch 就是这个想法的具体化。他的开源项目 nanochat，在很多人眼里像是他痴迷于训练 GPT-2 量级的模型。在他看来，它其实是一个递归式自我改进的试验场，也就是用大语言模型（LLM）改进大语言模型。他认为，所有前沿实验室都在追这件事，原因显而易见。

他调这类模型已经二十年了，原本觉得 nanochat 已经相当干净。他让 AutoResearch 通宵运行。第二天早上，它找出了他漏掉的东西：value embedding 的权重衰减，Adam 的 beta 参数没有设得足够精确，还有动了一个旋钮之后才会显现的参数联动。他的反应是：他不该成为瓶颈，不该盯着结果看；既然有一个客观的指标，这个循环理应可以一直跑下去。把这幅图景放大到一家有几万块 GPU 的实验室：在小模型上做探索，用规模定律（scaling law）外推，让研究人员不必亲自走完执行的环节。

他想象中的实验室，看起来像一条任务队列。一个自动化的科学家阅读 arXiv 和 GitHub，把想法倒进队列里。人类也可以贡献想法，但只能放进这个队列。工作者领取任务，运行实验，把有效的改动提交到一个功能分支上，偶尔由人合并进 main 分支。Guo 又往递归的方向推了一步：什么时候模型写出的 program.md 会比他写的更好？他说，研究机构就是一组描述角色以及角色之间如何衔接的 Markdown 文件。有的机构会省掉没用的晨会，有的则更敢冒险。一旦它变成代码，就可以调优。她提出的比赛构想是：在同样的硬件上运行不同的 program.md，再把获胜者的做法反馈回去，让模型写出更好的规格说明。他称之为 100% 可行。

下一层是对不受信任的互联网工作者进行并行搜索。AutoResearch 寻找能把验证集损失拉低的代码改动：生成很贵，可能要尝试一万次才能命中一次，验证却很便宜。这套设计越来越像区块链：用提交代替区块，用大规模试验充当工作量证明，奖励则是一个暂时还没有钱的排行榜。Folding@home 和 SETI@home 也有同样的形态：搜索昂贵，验证便宜。前沿实验室握有可信算力，地球上却有多得多的不可信算力。如果接线得当，一群智能体可能会把实验室甩在身后。你甚至可以为你关心的癌症研究方向的 AutoResearch 直接买 FLOPs，而不必开一张捐款支票。这个洋葱式的分层没有明显的尽头：先是把大语言模型视为理所当然，接着是智能体，然后是 claw，再是舰队，再是指令，然后是对指令的优化。每一层都是无限的。每一次失败，依然是功力问题。

在这种“上头”之上，还有两点保留。第一，这个循环只适用于有客观、容易评估的指标的工作。写一个行为完全一致、速度更快的 CUDA 内核，就是完美的匹配；如果没法评估，就没法用 AutoResearch。第二，模型依然处处捉襟见肘。走得太超前，整个技术栈整体上反而没有用处。他感觉自己像是同时在跟两个人说话：一个是才华横溢、一辈子都在做系统程序的博士，另一个是十岁的孩子。人的能力是相互关联的，模型的能力却参差不齐。智能体仍然会陷入毫无意义的循环，在本该认出问题的地方白白烧掉算力。

他把这一切归因于强化学习。实验室可以用奖励来改进任何东西：程序有没有通过单元测试，是或否。那些比较软性的东西，比如你真正想表达什么的细微差别，什么时候该追问澄清，依然做得不好。你要么走在轨道上，成为超级智能电路的一部分，要么在无法验证的领域偏离轨道，在那里一切都是漫无目的的游荡。让最先进的 ChatGPT 讲个笑话，你得到的仍然是那个“科学家不信任原子，因为原子什么都能编”的老梗。三四年前它就是这个笑话，今天还是。同一个模型能连续跑上好几个小时，搬动成山的代码，转头却又翻出五年前的烂梗，因为笑话不在强化学习的覆盖范围之内。

有些研究团队假设，在可验证的代码上变得更聪明，就能免费得到更广泛的智能。笑话的例子表明，这种情况并没有以令人满意的程度发生。实验室目前是把每个领域都塞进一个单一文化的模型里。Karpathy 预计会出现更多分化，就像动物界那样：较小的模型保留一个认知核心，然后各自专精，其中就包括一个 Lean 定理证明器。这种现象目前还不明显，一部分原因是实验室必须服务于未知的用户提问，另一部分原因是直接改动权重这门科学还不成熟。要在不引发灾难性遗忘的前提下做微调（fine-tuning）、做持续学习，以及在上下文窗口之外找到真正的新原语，这些都谈不上便宜或安全。上下文很便宜，改权重则是动了整个智能。没人想在这上面掉以轻心。

Guo 转述了 Noam 的一个尖锐问题，Noam 是一位身在前沿实验室的听众：Karpathy 完全可以把 AutoResearch、同事，以及一大堆算力都带进实验室，为什么不这么做？他待过里面：他是 OpenAI 的联合创始人，回去过，又离开了。反对的理由有三点。第一，财务上的纠葛：你在实验室里有巨大的利益，你同时又说 AI 将深刻改变社会，你既在打造它，又从中获利。这正是 OpenAI 当初成立时想要解决、却至今没有解决的矛盾。第二，你不能完全自由地发言：有些话不能说，有些话组织希望你说。没人拧你的胳膊，但你能感觉到那种斜眼的注视。第三，在外面，他觉得自己反而更能站在人类这一边，因为他不受那些压力的约束。

他也承认另一方有道理。实验室是不透明的，而且处在能力的真正前沿。待在外面太久，你的判断就会漂移；你会不知道赛道是怎么铺的。这让他不安。理想的状态是进进出出：做一段真正的工作，然后离开。赌注目前仍然相对较低，氛围也还算温和。等赌注真的变高，他怀疑身在其中的一名员工究竟能有多大的分量。Noam 在 OpenAI 也能做出出色的工作，但 Karpathy 猜测，他最有影响力的工作，可能仍然在实验室之外。

在开源问题上，他给出了一个时间表。闭源模型原本领先了 18 个月，这个差距已经收敛到大约六到八个月。他拿 Linux 打比方：业界需要一个大家都放心使用的开源公共平台，而他记得，大约有 60% 的计算机跑的是 Linux。训练的资本开支很大，要和前沿正面竞争很难。他的预测是：闭源实验室会成为做诺贝尔级别工作、或是 Linux、Rust 那种级别工作的“神谕”，而开源会吞掉大多数日常场景，甚至包括本地使用场景；今天的闭源前沿，今年晚些时候也可能开源。只有闭源智能的世界，存在系统性风险；而集中化在政治和经济上的历史记录并不好。他还希望前沿实验室越多越好。在机器学习里，集成往往胜过单一模型，所以在最难的决策上，他希望屋里有一群消息灵通的人组成的“集成”。

Karpathy 最近把美国劳工统计局的就业前景画成图，按工作是数字性还是实体性给职业上色。医疗保健是那些表格已经标出的短缺领域。他的框架很简单：翻转一个比特，大约比移动一个原子快一百万倍，所以数字世界会以光速重写，而物理世界会落后。能在家里完成、主要是推动数字信息的工作，会最先被解放出来。岗位数量可能随需求弹性升降，但工作的内容无论如何都会重新排列。他把这称作人类这个超级有机体神经系统的一次升级。软件工程的需求仍在上升。他举了杰文斯悖论的例子：过去软件稀缺又昂贵，需求被压抑着；一旦把它变便宜，潜在需求就涌了出来。当年人们以为自动柜员机会消灭柜员，结果网点变便宜了，网点反而更多，柜员也更多。他对近期的软件工程持谨慎乐观的态度。代码现在变得可以随用随弃。你不必再被困在别人递给你的那些不完美的工具里。

实验室自己的研究员，才是最黑色的笑话。OpenAI 和 Anthropic 大约有一千名研究员，他们的项目就是把自己自动化。他在 OpenAI 里四处走，说如果他们成功了，大家都会失业，只能替 Sam Altman 或董事会去搭建自动化。在他看来，机器人行业正在重走他十年前在自动驾驶上看到的老路：一大群创业公司，大多数活不下来，这是个会吞掉资本、时间和信念的行业。把这些机会排个先后：先是数字层面的解放，然后是数字与物理之间的传感器和执行器接口，最后才是物理世界本身，它可能是更大的市场，但也会慢得多。纯数字的工作，最终会做到头。读完论文之后，你必须向宇宙提出一个问题。Liam Fedus 的 Periodic Labs 用昂贵的实验室设备充当材料研究的传感器，就是这种接口的一种模式。用程序化的方式给人付费获取训练数据，也是一种。他希望建立信息市场：如果德黑兰上了新闻，那么一张街景照片对一个在 Polymarket 上交易的智能体来说，应该值十美元，不必等人去看。

教育是最后一个执念。microGPT 把训练一个大语言模型压缩成约 200 行带注释的 Python：一个文本数据集，五十行的网络，一百行的自动微分，十行的 Adam，还有一个训练循环。一年前，他会录一段讲解视频。现在他不再直接对人讲解了，而是对智能体讲，智能体则会用任何语言、按学生的水平，带着无穷的耐心再讲一遍。库文档应当为智能体而写，写成 Markdown，不必再为人做成 HTML。课程会变成能提示教学路径的技能。他尝试让一个智能体从零发明出 microGPT，它做不到。一旦那些比特存在，它就能完全理解每一行。那几个比特，就是他剩下的贡献。“智能体做不到的事，现在是你的工作。智能体能做的事，它们大概很快就能比你做得更好。所以你要有策略，想清楚自己究竟该把时间花在什么地方。”