Andrej Karpathy 谈 AGI 时间线、学习思路与编程代理的局限

摘要

30 秒看懂

Matthew Berman 评析 Andrej Karpathy 在参加 Dwarkesh 播客后发布的帖子。Karpathy 提出距 AGI 还有十年以上，区分模型学习与动物进化，并质疑当前强化学习信号能教会模型多少东西。 Berman 加入自己更乐观的解读，讨论 Karpathy 提出的系统提示词学习、紧凑型“认知核心”以及对协作式编程代理的偏好。这些是 2025 年表达的观点，并非确定的预测。

1代理的十年Karpathy 预计要让代理大规模发挥作用，需要大量工作；Berman 对进展速度更加乐观。
2动物与模型的学习方式不同Karpathy 对比了进化带来的遗传能力和通过预测下一个词元训练的神经网络。
3对强化学习的批评基于结果的奖励可能强化有缺陷的推理，或在最终答案错误时压制有价值的步骤。
4通过笔记学习系统提示词学习会保留明确的通用问题解决策略，供以后的任务使用。
5本地认知核心Karpathy 设想一个能使用工具、并有选择地向云端求助的小型多模态模型。
6协作式编程他希望代理解释并验证容易处理的改动，而不是交付大量未经审查的代码。

要点建议

Karpathy 将 2025–2035 年称为代理的十年，认为大规模部署需要大量集成和研究工作。
他比较了经进化塑造的动物能力与通过预测词元训练的神经网络。
他质疑基于结果的强化学习信号存在噪声，并看好代理交互和明确记录的学习策略。
他提出的小型本地“认知核心”更看重能力，而不是百科全书式的知识。
在编程中，Karpathy 更喜欢可理解、可验证的小块任务以及人机协作，而不是让代理长时间无人监管地运行。

主题AGI Timelines AI agents Reinforcement Learning Agent memory Code review & verification

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

AGI 时间线与代理的十年

Berman 讨论 Karpathy 提出的十年以上时间估计，以及他对数字代理和实体机器人的类比。两人对进展速度及所需工作量的乐观程度不同。

Andrej Karpathy 说，通用人工智能至少还要十年才会到来。他参加 Dwarkesh 播客后，在 X 上发了一篇更长的帖子加以说明。我觉得这篇帖子同样有意思，因为它进一步阐述了他对代理、学习以及实现 AGI 所需工作的看法。

Karpathy 将 2025–2035 年称为代理的十年。我的理解是，代理可能需要十年才能在整个经济中变得实用、有价值且普遍。当我称 2025 年为代理之年，我的意思是它们正成为人们关注和实施的重点；我对进展速度更乐观。

他把数字世界中的 OpenAI Operator 与物理世界中的人形机器人作比较。Operator 可以操作浏览器完成任务，而不必为每个网站准备专门接口。两种方式都指向由人类监督底层自动化，但 Karpathy 预计数字工作进展更快，因为操作比特比移动原子便宜得多。

Karpathy 认为实体世界可能带来更大的市场机会。我则想，现在知识工作的市场是否更大，即使实体世界的机会最终可能扩展到地球之外。他的重点是，要让代理在各个领域真正发挥作用，还有大量工作要做。

幻灯片 1 / 5代理的十年Karpathy 的帖子将 2025–2035 年视为让代理真正发挥作用的工作时期。

他对 AI 时间线的看法介于网络圈子里最热情的支持者与日益增长的怀疑之间。他承认自 2022 年 ChatGPT 出现以来进展巨大，但认为在 AI 能胜过人类胜任任意工作之前，还需要解决集成、安全、安保、物理传感器和执行器、社会适应以及进一步研究等问题。

我认为其中一些工作属于支撑系统：工具、记忆和基础设施让我们能够利用核心模型已经具备的智能。Karpathy 则认为核心能力本身也还不够。他认为十年实现 AGI 仍是乐观的时间线，尽管相对于当前热潮听起来谨慎；我预计它会更早到来。

动物、语言模型与强化学习

Karpathy 对比了动物进化出的能力与词元预测。他还质疑噪声较大的强化学习信号，并考虑代理学习的其他方式。

Karpathy 怀疑是否存在一种简单算法，可以放到世界中从零开始学会一切。在他看来，动物不是这样的例子：进化在它们出生之前就赋予了它们大量智能。例如，刚出生的斑马很快就能站起来并开始行走。

他认为语言模型是将智能构建进神经网络的另一条路径：它们通过互联网上的数据预测下一个词元，而不是像动物一样通过进化形成。他把它们比作幽灵或精灵，并认为研究人员可以逐步让它们更像动物。我认为泛化——学会应对新问题，而不只是依赖记忆——是 AGI 的核心。

幻灯片 2 / 5对强化学习的批评帖子概述了奖励信号的噪声、过程监督的问题以及对其他学习方法的兴趣。

Karpathy 也批评强化学习。他认为单位计算量得到的监督信号不足，而且信号存在噪声。我预计效率会提高，但问题在于，它是否能提高到足以产生我们需要的泛化能力。

他担心基于结果的奖励会因为最终答案正确而奖励包含错误的推理过程，也可能因为最终答案错误而压制有价值的中间见解。举个简单例子，模型可能在中途做了无关或错误的计算，却仍得出 1 + 1 = 2。仅根据最终答案给奖励，无法区分好的推理和坏的推理。

反过来，如果最终答案错误，有用的中间步骤也可能受到惩罚。Karpathy 说过程监督和用大语言模型作为裁判也有各自的问题。他看好代理交互，却怀疑强化学习能否成为主要路径；考虑到前沿实验室正在大举投资强化学习，这一立场颇引人注目。

我对代理交互的理解是，给代理提供可以实验和学习的环境。我想到 DeepMind 的游戏研究以及开发世界模型的公司：在这些环境中，数字代理或具身代理可以尝试行动，并从结果中学习。Karpathy 还提到了与他所谓的系统提示词学习有关的研究。

系统提示词学习与认知核心

Karpathy 建议保留明确的问题解决策略，并描述一个以能力为中心的小型本地模型。Berman 讨论了上下文限制、记忆和所提模型的特点。

他作出的区分是：预训练构建知识，微调塑造习惯性行为，两者都通过改变模型参数来实现。他认为，人类的许多学习更像改变系统提示词：遇到问题，找到解决办法，然后明确写下策略，供下次使用。系统提示词会影响模型行为，但其空间受上下文窗口限制。

他区分了通用问题解决策略的记忆与仅保存某个用户个人事实的功能。他提到，在他查看的版本中，Claude 的系统消息约有 17,000 词，其中包含回答前明确数清字符等指令。此类指令有助于回答那个常见问题：“strawberry”里有几个 r？

Karpathy 认为有一些论文很有前景，但研究想法与生产规模的通用实现之间仍有差距。他将 ChatGPT 的记忆功能称为这种潜在新学习范式的一个初步部署实例。愿景是让模型以可用于以后问题的形式，保留从经验中获得的有用教训。

另一个提议是“认知核心”：牺牲百科全书式的知识，以保留有用能力。Karpathy 认为，人类无法记住一切或许像一种正则化，促使我们泛化，而不是总依赖记忆。他设想的核心有几十亿参数，并能在个人电脑上持续运行。

他建议的功能包括原生文本、视觉和音频输入输出；可调整能力的 Matryoshka 式架构；可调整的推理；以及广泛使用工具。它还可以使用设备上的 LoRA 插槽进行个性化和测试时训练，联网后则可选择性地把工作交给云端模型或请其检查。他是在回应 Google 的 Gemma 3n 时写下这些想法的。

编程代理与协作

Karpathy 认为代理工具的发展可能超出模型能力，倾向于可理解、可验证的协作。Berman 最后谈及马斯克提出的编程竞赛和 Karpathy 的回应。

Karpathy 对代理行业的批评是，工具的发展可能超出现有模型的能力。他更喜欢与人和模型各自优势相匹配的协作，而不是让代理无人监管地工作 20 或 30 分钟。他说，自己的 NanoChat 项目几乎完全由手工构建，而不是通过 vibe coding 完成。

他不希望代理在 20 分钟后带回 1,000 行代码，也觉得自己还没有准备好监督十个这样的代理。相反，他希望任务分成容易处理的部分，代理提供解释、证明代码正确的证据，并对照 API 文档检查。他希望模型少作假设，在不确定时主动请求协作。

幻灯片 5 / 5偏好协作式代理Karpathy 介绍了容易处理的编程任务、解释和验证，作为长时间无人监管运行的替代方式。

Karpathy 警告，如果人类没有认真审查大量生成的代码并理解上下文，这些代码就可能堆积成“垃圾山”。他关心的不只是能生成多少代码，还包括负责的人能否理解并验证它。

最后，马斯克回应称，希望 Karpathy 与 Grok 5 举行一场编程竞赛，并提到 Garry Kasparov 对阵 IBM Deep Blue 的国际象棋比赛。Karpathy 回答说，他更愿意使用 Grok 5 并与之协作，而不是与它竞争，同时暗示自己额外作出的贡献最终可能趋近于零。我把这理解为他承认 AI 编程能力可能随着时间推移超过自己。