语言模型如何从文本学习并通过试错改进

Jeremy Berman 试图解释，一份数字文件和相对简短的程序如何构成智能系统。他从神经网络及其训练讲起，再介绍语言模型预训练、后训练、推理和发现新知识的可能性。

Matthew Berman 提到 Jeremy 是自学成才的研究员。Jeremy 建议沿着自己的好奇心深入感兴趣的领域；这里的每一部分都能比概览讲得深入得多。

设想一张纽约公寓清单，列出位置、面积、浴室数量和成交价。网络要学习一个从这些输入映射到价格的函数。少数样本可以手写规则，样本和变量增多后，这种方法就难以管理。

这张小表中的正确价格是已知的。计算机的任务是找到能适用于这些样本的共同规则，而不是为每套公寓单独编写规则。

在简化公式中，每个输入乘以一个参数——Jeremy 把它称为旋钮——再把结果组合起来。随机设定的初始参数会给出不准确的价格；调整旋钮就能改变结果，让它接近实际价格。

Matthew 建议把旋钮理解为各输入重要性的权重。Jeremy 认为这个比喻适合简单例子，但更复杂的关系还可能包含输入之间的相互作用。

Jeremy 指出，输入发生交互时，同一设定可能产生不同影响。简单的权重比喻有帮助，却不能涵盖多层网络能够学习的所有关系。

更深的模型会把一层的结果送入下一层。每层都有自己的数字参数，最终输出来自一连串计算。

网络把函数嵌套在函数里，每层都有参数。训练目标是尽量降低损失，即网络预测和目标结果之间的差异；在公寓例子里，目标是实际成交价。

Matthew 举例说，一套 200 万美元的公寓若被预测为 100 万美元，损失就应推动训练改进估计。Jeremy 强调，同一组参数要在多个样本上评估。

网络图把同样的概念扩展到更大的规模：数字输入经过带权重的连接和中间层。语言模型的参数量指模型中的数字数量，程序则描述如何使用这些数字计算。

逐个手动调整参数太耗时。Jeremy 介绍了 PyTorch 等自动求导工具，它们记录计算过程，求出每个参数的变化会怎样影响损失。

软件会跟踪计算之间的联系，因此可以从最终误差反向计算。Jeremy 将其描述为找出每个旋钮微小变化对结果的影响。

计算使用导数：系统估计每个旋钮变化对最终误差的局部影响。Matthew 请他讲得更通俗，Jeremy 回到实际作用：如果调高某个参数会增加误差，就朝相反方向调整。

Jeremy 假设一个参数的敏感度为三：参数增加一单位，损失可能增加三单位。知道方向后，优化器就能判断局部而言应小幅增加还是减小该参数。

算出方向后，训练会微调参数，而不是一步找到完整答案。学习率决定每次更新的幅度；这个过程会对参数和样本反复进行。

这种计算依据微积分的链式法则，而非随机猜测。两人没有展开推导，而是聚焦软件返回的信息。

在演示中，自动训练循环不断调整房价模型的参数，使误差下降。Jeremy 说，简单的线性公式有局限；更多层和非线性变换能表示更复杂的关系。

演示中的平均偏差降到约 7 万美元。Jeremy 将剩余误差归因于例子中的函数形式有限，并解释额外层和非线性函数如何表示更丰富的模式。

将误差信息向网络前面传播的技术叫反向传播。它依赖输入和目标结果：如果没有实际房价，示例就无法计算预测与目标相差多少。

Jeremy 展示了一个简短的 PyTorch 训练循环：计算预测和损失、重置梯度、执行反向计算并更新参数。示例每隔一段打印结果，而非在一千次训练的每一步都打印。

示例代码中，优化器清除先前的梯度，损失向后传播，再执行一步参数更新。Jeremy 提醒，这只是教学演示，并非生产环境的训练配置。

示例使用均方误差，将预测差异变成用于优化的损失。演示中数值越大，说明预测离目标越远。

Matthew 问代码如何知道该往哪个方向调整。Jeremy 指向记录下来的计算过程与梯度：它们给出参数与损失的局部关系，优化器据此朝降低误差的方向微调。

语言模型可以把同一份公寓数据当成文本序列，而不是固定的一组数字输入。它根据前面的词元预测下一个词元；词元可以是词的一部分或其他文本片段。

Matthew 强调了表示方式的变化：相同的地段、面积和浴室数量如今作为文本序列读取。网络预测接下来是什么，而不只是把各字段作为独立数字输入。

模型试图找到训练文本中的统计模式。如果把表格写成文本，模式就可能包括地段、面积和浴室数量之后的价格，但语言模型是一类更通用的神经网络。

Jeremy 说，在算力和数据有限时，预测价格这样的单一任务可能更适合专门的模型。语言有更多可能输出和关系，因此更消耗资源，但两者仍遵循调整参数的基本原理。

两种方法有共同点：都是神经网络，都通过调整参数学习。Jeremy 认为在理想条件下它们应能找到类似模式，但实际资源限制会影响选择。

用更大的文本集合训练后，模型能学习续写多种输入的模式。这不保证真实性：基础模型的目标是继续生成类似数据的文本，并非天生就会成为有用的助手。

语言模型不会只输出一个价格，而是给可能出现的下一个词元分配概率。训练调整参数，提高训练样本中实际词元的概率；损失衡量预测分布与目标之间的差异。

假设训练样本中实际出现的下一个词元目前只有很低的预测概率，更新就会相对其他选项略微提高它的概率。这样的操作在大量数据上反复进行。

Jeremy 演示了一个约有 5 亿参数的小型 Qwen 基础模型。给定提示后，它会续写文本，有些输出像代码或中文。这些输出展示了模型学到的模式，却不能单凭它们确定训练集的确切内容。

基础模型是一种自动补全系统。生成片段可以显示它学到的模式类型，但 Jeremy 没有把某次续写当作特定文档或引语存在于训练数据中的证明。

当提示以“Matthew Berman 说”开头时，基础模型生成了一句看似合理但 Matthew 不记得说过的话。Jeremy 解释，续写可能符合提示的风格，却不准确，也不一定是逐字引述。

两人讨论，如果加入更多 Matthew 实际说过的话，模仿是否会更像他。Jeremy 提醒，即使风格相似，也不能保证模型准确复述原话。

基础模型还没有专门受训去提供有帮助的回答，或在适当时停止。Jeremy 演示，以用户提问和助手标签组织的提示可以引出回答，因为训练中出现过类似模式。

手动加入“用户”和“助手”前缀，可以引导基础模型生成想要的续写。Jeremy 将其解释为利用熟悉的文本模式，并不意味着模型独立获得了人的身份。

对话模板明确区分这些角色，但基础模型可能在给出有用答案后继续生成，因为它尚未学会期望的停止行为。界面会将不断增长的序列逐词元送回模型。

后训练从期望的用户与助手对话示例开始。通过回答和停止词元训练，模型更可能按预期格式答复并结束本轮，从通用文本续写器变成遵循指令的助手。

完整对话示例教会助手在用户消息后生成回答；特殊结束标记则提供何时停止的信号。

分词器可以展示普通聊天界面背后实际送给模型的词元和角色标记。Matthew 说，人们可以用开放权重模型和 Google Colab 的免费额度实验；演示使用的是 T4 GPU。

遵循指令不等于推理正确。Jeremy 展示了一道算术题，助手自信地给出错误答案。预先加入或要求逐步思考有时能改善结果，但不保证正确。

要求逐步思考可以促使模型在答案前生成中间推理。Matthew 回忆早期评测模型时使用过这种提示；Jeremy 则区分公开已知的方法与实验室内部可能早已掌握的方法。

两人区分了用提示引出逐步回答，与训练模型改进自己的尝试。Jeremy 说，公开文本往往只有最终答案，没有产生答案的过程，因此推理轨迹构成了另一项训练挑战。

完成的文章和程序通常展示人们工作的结果，而不是每一个中间步骤。Jeremy 认为，仅靠模仿普通公开文本，因此更难学到解决问题的过程。

Jeremy 把强化学习解释为从试错中训练，并以 DeepSeek R1 为公开实例。他介绍组相对策略优化，说明它可以比较模型对同一问题给出的多次回答。

对于示例中的数学题，Jeremy 建议让模型独立尝试多次并对结果评分，再用训练信号改变未来回答的概率。

更简单的方法是生成大量尝试，只保留正确答案并用它们训练。Jeremy 将其称为拒绝采样；它可以奏效，但不会直接利用负面例子，还可能强化成功回答中无关紧要的词元。

组相对方法会为多个答案评分，并与组内平均值比较。相对得分提供信号，使高于平均水平的回答中的词元更可能出现，低于平均水平的则更不可能。Matthew 确认这是后训练。

相对得分好，会提高相应生成回答的概率；得分差则会降低。Jeremy 指出，在这个简化说明里，一次尝试中的每个词元都收到共同信号。

模型自己生成用于训练的例子，Jeremy 称之为同策略训练。他认为，利用模型已经能产生的行为来调整，可能比模仿另一个系统更少干扰，但也承认其他能力仍可能退化。

Jeremy 对比从自己生成的尝试中学习和复制其他来源的解答。他对减少干扰的判断有保留：强化学习仍然可能使其他能力退化。

对于能可靠核验结果的任务，模型可以反复尝试、获得评分并改进。验证器的质量很重要，因为过程需要区分成功与失败。

Matthew 问为什么不从一开始就使用强化学习。Jeremy 说，研究人员正在探索合并阶段；在他的解释中，使用广泛外部数据的预训练和后来训练助手分别有不同作用。

助手学会遵循特定格式后，再用外部语料训练可能改变其行为和风格。Jeremy 以代码数据为例，表示研究人员正尝试把强化学习与其他阶段结合。

如果之后用代码语料训练助手，它可能开始模仿代码语料的风格，而不再维持原来的对话行为。Jeremy 把这视为混合阶段的一项挑战，并非证明混合方法不可能。

最后，Jeremy 追问：用现有材料训练的系统能否产生新知识？他认为，更长链条的推理可能让模型建立新抽象，得出数据中没有明确出现的结果，但这一预测还要由时间检验。

Jeremy 把推理比作逐渐建立抽象，让原本不太可能得出的结论变得可及。他用这一直觉解释为什么下一个词元预测系统最终可能得出新结果。

Matthew 在结尾鼓励感兴趣的观众学习基础并动手实验。他说，研究职业需要大量努力，但并不只向拥有博士学位的人开放。