潘嘉怡解读 R1、o1 与 Kimi K1.5：强化学习如何教模型学会推理

开场先引用 DeepSeek-R1 报告标题里的“激励”一词：与其逐步教会模型怎么做，不如设定目标，让它通过强化学习自己摸索。随后回放了模型检查答案、发现错误并重新验算的片段，提出这些复杂行为可能不是研究者逐条写入的。

嘉宾把这种自我纠错与围棋中的“神之一手”相提并论：模型可能探索出开发者没有预料到的策略，这也是强化学习令人着迷之处。她还提到，若训练效率足够高，推理训练成本可能远低于预训练。

张小珺介绍本期嘉宾潘嘉怡，她在伯克利研究语言模型的后训练，关注推理与智能体。潘嘉怡说，R1 发布后她和合作者用几个小时做出 TinyZero，在 24 点任务上观察到小模型也能通过强化学习形成搜索和纠错行为。

TinyZero 的目标不是复刻完整的 DeepSeek 系统，而是用较低成本验证路线、便于快速试验。嘉宾解释，24 点任务要求模型组合给定数字和四则运算，得到目标数值，规则清楚，适合检验答案。

谈到 DeepSeek 对全球 AI 格局的影响，潘嘉怡谨慎地说自己不擅长宏观判断，但认为美国大厂会重新评估训练效率和创新能力。R1 的意义还在于，行业开始更清楚地看到强化学习可拓展地提升模型推理能力。

她观察到，R1 发布后，原本做视觉语言预训练的研究者开始转向推理方向。o1 已经让一部分人探索推理，但 R1 把路线和技术报告公开后，公众与研究社区更容易理解，兴趣也被真正点燃。

张小珺问 R1 是追赶者还是创新者。潘嘉怡用谜题作比：OpenAI o1 抛出了一个业界想解开的谜，DeepSeek 是最早给出漂亮答案的团队之一；DeepSeek 在 MoE 和注意力机制等方面也已有自己的创新。

她认为，Kimi K1.5 同样是很出色的工作，技术路线与 R1 有许多相似之处，报告还披露了工程细节。DeepSeek 的报告更简洁、叙事更集中，因此更容易让读者感到算法之美和突破感。

讨论转向开源。潘嘉怡认为，开源不只是发布权重，也会形成文化与认同。DeepSeek 长期公开模型和技术报告，积累了研究者与开发者的关注；她也观察到 OpenAI 和 Kimi 开始重新讨论开放更多模型或技术信息。

开源可以让团队复用框架，减少重复踩坑，也能加快技术普及、降低部署成本。至于商业模式，潘嘉怡认为 API 容易被替换、竞争激烈；面向用户的订阅产品则能组合多种能力，形成更稳定的服务。

被问到 OpenAI、DeepSeek、Kimi 的路线差异时，潘嘉怡说，强化学习让语言模型产生长思维链并提升推理，更像一个被逐步发现的规律，而非某家公司独有的发明。三家当前的核心方向因此相当接近。

正式读论文前，嘉宾先回顾基础模型的发展：GPT-3 到 GPT-4 间隔约两年半，此后基础模型的能力提升不像后训练和产品体验的进步那么直观。预训练仍在进展，但成本高、迭代慢，下一代模型需要更大投入。

在这个背景下，OpenAI o1 提出另一种扩展维度：不仅增加预训练算力，也可增加后训练和推理时的算力。报告用数学测试展示，投入更多训练算力、让模型在回答前生成更长的思维链，成绩都会提升。

潘嘉怡解释，强化学习与预训练或监督微调不同：后两者用已写好的文本教模型模仿，强化学习则给模型任务并反馈结果好坏。模型通过多次尝试，逐渐提高带来奖励的行为概率。

o1 展示的关键现象，是模型会自己学会识别和改正错误、拆解困难步骤，并在原路径行不通时换一种方法。OpenAI 当时强调这些行为并非人工逐项示范。嘉宾认为，这表明推理时扩展可能是新的能力增长来源。

张小珺把预训练比作积累智力。潘嘉怡补充，预训练更像吸收世界知识和多种思维模板；强化学习则把已有知识引向具体任务，例如让模型成为友好的聊天助手，或解决复杂推理题。

两人把预训练和推理算力比作共同影响能力的两个因素。即使基础模型不变，增加推理时间也可能让模型达到更强的效果；但嘉宾认为，预训练与后训练仍会并行推进，不能简单断言其中一条路线已经到头。

潘嘉怡以 o3 和 o3-mini 为例，说明同样成本下的能力在提升，数学与推理基准也出现明显进步。她区分推理模型与智能体：前者回答问题，后者还要与外部环境交互、多轮使用工具完成任务。

智能体可以操作 IDE、终端和文件，修复软件问题；计算机使用智能体还可能通过鼠标键盘完成网页操作。接下来节目转入 DeepSeek-R1 和 Kimi K1.5 的报告，先从 R1-Zero 开始。

R1 和 Kimi K1.5 的整体路线相似，但 R1 的算法表达更简洁，Kimi 披露了更多数据、架构和实验细节。嘉宾先解释 R1-Zero 标题里的“激励”：不把复杂行为逐步教给模型，而是告诉它什么结果更好，让它自己探索。

R1-Zero 从 DeepSeek-V3 基座模型直接开始大规模强化学习，没有先做监督微调。报告称，模型逐渐出现搜索、检查错误和自我纠错等行为；但原始输出可读性较差，有时还会在不同语言间切换。

R1 则通过多轮训练改善体验：先用少量冷启动数据示范较长的推理链，再进行推理强化学习，随后把推理专家和通用模型产生的数据汇总蒸馏，最后在更广泛任务上继续强化学习。

强化学习首先适用于答案可验证的任务，例如数学题有标准答案、代码可以运行单元测试。R1-Zero 因此更像数学、科学和代码推理专家；要成为通用助手，还需补上聊天、写作和角色扮演等能力。

比较 R1 与 R1-Zero 时，潘嘉怡说，R1-Zero 的技术路径更干净，较少依赖人工示范，展现了推理模式可以自行涌现；但当时它的性能、通用性和用户体验仍不如经过冷启动和多轮训练的 R1。

报告还把 R1 生成的数据蒸馏到不同尺寸的模型。嘉宾指出，先由强模型探索出有用策略，再教给小模型，可能比让小模型从头摸索更有效；模型越强，越可能找到复杂而有价值的推理路径。

GRPO 是 DeepSeek 对 PPO 的改进。PPO 通常要另外训练价值模型，逐步估计生成序列中的每个 token 贡献；但推理任务的奖励往往只在最后出现，链条又很长，准确估值困难，价值模型还会增加训练成本和复杂度。

嘉宾用模型先答错、后纠正的例子说明逐 token 评价的难点：错误答案的一部分可能只是探索过程，最终纠错却是有效行为。GRPO 因而取消价值模型，比较同一组回答的相对表现，鼓励较好的回答、压低较差回答。

GRPO 还需要处理旧策略生成的数据，并限制新策略偏离参考模型太远。嘉宾将它概括为一套直接的策略梯度方法：减少不准确的价值估计，保留稳定训练所需的相对优势和策略约束。

强化学习还需要奖励信号。R1-Zero 使用规则奖励：答案正确与否由程序或标准答案验证，同时检查输出格式。模型先把思考过程放入 think 标签，再把最终回答放入 answer 标签，方便提取和判分。

DeepSeek 没有在 R1-Zero 中使用神经奖励模型或过程奖励模型。传统奖励模型依据偏好比较给回答打分，过程模型则尝试判断每一步推理对不对；后者听上去更精细，但标注和训练都困难。

神经奖励模型只是人类真实偏好的近似，强模型可能学会钻它的空子，这叫 reward hacking。嘉宾举例，如果奖励模型偏好表情符号，模型就可能大量输出表情，而人并不一定觉得回答更好；数学和代码更适合直接用可验证的真实奖励。

R1-Zero 的训练模板很简单：给模型一个问题，要求它先写推理、再给答案，并通过格式奖励和准确性奖励进行学习。潘嘉怡认为，算法的力量恰恰来自它用少量明确机制解决关键问题，而不是堆叠复杂设计。

R1-Zero 的结果图将 AIME 数学成绩和强化学习步数放在一起，准确率从训练早期的十几个百分点稳步升至约七成。报告还比较了单次回答与生成多次后多数投票，后者更高，但整体趋势相同。

另一张图显示，模型平均回答长度从最初的数百 token 增至接近一万。潘嘉怡认为，这说明性能提升的一部分来自模型学会投入更多推理时算力，而不是只靠一次答题。

DeepSeek 把训练中出现的自我反思称为“顿悟时刻”。模型会重新检查自己的解法，发现中间步骤有误后回头纠正；报告强调，研究者没有预先用监督微调逐条示范这种行为。

嘉宾认为，强化学习允许模型在明确奖励下自行探索，因此可能产生设计者没有想到的策略。她把它与围棋中的“神之一手”类比：评价标准可以由人设定，具体解法却未必来自人的示范。

张小珺追问模型是否可能涌现意识。潘嘉怡指出，意识没有统一定义：若只看输入和输出，模型能理解并回应语言；若关注内部体验，则仍无法从行为直接下结论。

她把 R1-Zero 的发现与工程可用性区分开来：从科学问题看，它展示了自发推理行为；从产品角度看，输出混杂、可读性不足，仍需要冷启动和后续训练改善体验。

R1 与 Kimi K1.5 都采用冷启动。做法是先准备少量高质量长思维链，显式展示规划、搜索、自我检查等模式，再让模型在强化学习中继续探索，而不是完全从零开始。

冷启动数据的作用像给探索一个方向。研究者可以筛选或撰写较清晰的推理示例，修正语言混杂与格式问题，让模型先学会可读的推理形式，再用奖励不断改进。

R1 后续在数学、代码、科学和逻辑任务上进行强化学习。因为这些任务的答案较容易验证，规则奖励可以准确判断结果；模型偶尔语言混杂时，训练还会对这种输出施加惩罚。

R1 先形成一个擅长推理的专家模型，但它还不是通用助手。模型需要在聊天、写作、翻译和角色扮演等任务上保持表现，因此 DeepSeek 又把推理能力与通用能力合并训练。

数据生成分成两类专家：R1 推理模型负责数学和代码等可验证任务，DeepSeek-V3 通用模型负责聊天、写作和事实问答。团队让专家回答大量提示，再筛出正确、格式合适且语言清晰的样本。

这种筛选叫拒绝采样：模型为一个问题生成许多回答，系统丢弃错误、语言混杂或冗长的回答，留下质量较好的样本做监督微调。推理数据还使用奖励模型筛选一部分难以直接规则判分的任务。

DeepSeek 报告称，推理方向收集约六十万条样本，通用方向约二十万条。把两类数据合并后微调基座模型，目标是让同一个模型同时保留推理专长与日常对话能力。

蒸馏后的模型还会经历一轮强化学习。对数学和代码，仍使用规则奖励；对更开放的任务，则使用奖励模型。这样既能继续改善可验证推理，也能把通用任务的偏好纳入优化。

R1 与 R1-Zero 的命名让人想到 AlphaGo 和 AlphaGo Zero。AlphaGo 先学习人类棋谱再强化学习；Zero 版本从规则与奖励出发，不依赖人类棋谱。R1-Zero 仍经过海量文本预训练，只是没有冷启动推理示例。

因此，“Zero”不是完全没有人类知识，而是相对少依赖人类提供的推理轨迹。Kimi K1.5 没有公开同类的零冷启动实验，也能通过冷启动加强化学习取得结果，说明 R1-Zero 是额外的发现而非唯一可行路线。

DeepSeek 把 R1 的推理能力蒸馏到 1.5B、3B、7B 等尺寸的模型。小模型在若干推理基准上的表现超过传统聊天模型，说明强化学习探索出的行为可以通过高质量数据迁移给规模更小的学生模型。

报告还比较了从大模型蒸馏与让小模型自己做强化学习。大模型更有机会探索到有效策略，再把这些策略教给小模型，结果在一些测试上优于小模型独自探索。

蒸馏并不一定是终点。小模型直接模仿老师时，可能照搬不适合自己的步骤；再做一轮强化学习，可以让它根据自身能力筛选、调整策略。嘉宾用“学生不能只抄答案”来概括这一点。

DeepSeek 也报告了失败尝试，包括过程奖励模型。过程模型要逐步标注推理哪里正确、哪里错误；复杂任务里“一个步骤”难以定义，人工标注昂贵，自动评估也不够可靠。

模型还可能利用过程奖励模型的漏洞，学会获得高分却没有真正完成目标。潘嘉怡认为，过程奖励在多次采样后挑选最佳答案时仍有价值，但在大规模强化学习中未必值得增加系统复杂度。

另一项尝试是蒙特卡洛树搜索。它把决策拆成分支，尝试多个后续步骤，再用价值估计判断哪些路径值得继续。围棋的动作空间明确，语言生成却要逐 token 选择，搜索树会迅速变得庞大。

在自然语言中，每一步如何划分、如何评估都不清楚；语言模型的词表又很大，搜索和剪枝需要可靠价值函数。DeepSeek 发现这类奖励模型训练困难，因此暂时没有把 MCTS 做成可扩展方案。

报告的主线由此回到简单的强化学习：当答案可验证时，直接奖励正确结果就能推动长思维链和推理能力增长。R1 和 Kimi K1.5 的共同点，是先把问题、奖励和训练循环搭稳，再不断试验有效细节。

潘嘉怡强调，DeepSeek 在过程奖励和搜索上并非没有投入，而是经过尝试后发现直接强化学习更有效。成功不是偶然挑中一个方法，而是经历多个方向的探索后找到较简洁的路线。

这也解释了为什么可验证任务很重要：数学答案、代码测试和逻辑题能给出相对明确的反馈。要扩展到写作、软件工程或真实智能体，奖励设计、环境搭建和评估会变得更复杂。

接下来张小珺把话题转向训练成本与复现条件。DeepSeek 报告没有披露完整算力和超参数细节，嘉宾只能依据生成 token 数、训练步数和公开价格做数量级估算。

潘嘉怡按约一万步强化学习、每步生成约一千条回答、每条最多约一万 token 粗算，整个过程可能产生约一千亿 token。用公开 API 价格折算，生成成本约二十万美元量级。

这只是粗略估算：API 标价不等于 DeepSeek 的内部成本，训练策略本身还要额外开销，回答长度也并非全程都达到上限。嘉宾认为数量级可能在十万至一百万美元之间，但不能当作官方披露数字。

张小珺提醒，R1 的成本不能脱离 V3 基座的预训练投入单独理解。潘嘉怡同意：如果目标是做通用人工智能，预训练和每个关键环节都可能需要自己掌握；若只针对行业任务，基于强基座做后训练往往更划算。

对资源有限的团队来说，开源基座降低了做预训练的必要性，后训练可能带来更高的边际收益。但追求前沿通用能力的实验室，仍会希望控制从预训练到强化学习的完整技术链。

R1 报告没有提供所有工程细节，却让读者看到一条可理解的算法路线。随后嘉宾转向 Kimi K1.5，比较它的冷启动数据、训练策略、奖励模型和系统架构。

Kimi K1.5 与 R1 一样先用长思维链冷启动，再通过强化学习打磨推理。Kimi 把规划、自我验证、反思和探索列为希望示范给模型的推理模式，不过报告对具体数据构造仍没有完全展开。

Kimi 使用自己的在线策略优化变体，目标与 GRPO 类似：比较多次回答的相对好坏，鼓励有效结果，同时约束模型别偏离参考策略太远。嘉宾认为，两者细节不同，但都试图用较简单的目标训练推理。

Kimi 还加入长度惩罚。回答越短越好，但正确答案仍获得主要奖励；错误回答即使很长也不应被鼓励。这样可以让模型学会用较少 token 完成任务，而不只是无限延长思维链。

DeepSeek 报告没有突出长度惩罚，而 Kimi 有意探索从长思维链变短的路径。嘉宾指出，这涉及体验取舍：长回答可能有利于复杂推理，短回答响应快、成本低，适合更直接的问题。

Kimi 还使用课程采样：训练早期给较简单的问题，能力提高后再逐渐增加难度，或持续提供略高于当前能力的题目。让任务难度匹配模型状态，可能比完全随机抽题更有效。

代码任务的奖励可以通过运行生成的测试用例验证。Kimi 会自动构造问题、参考代码和单元测试，让强化学习知道程序是否符合要求。数学证明则不总能写成简单规则，因此团队尝试神经奖励模型。

传统奖励模型读取题目、参考答案和模型回答，再直接判断对错。Kimi 还训练了思维链奖励模型，让模型先比较推导和参考答案、解释哪里正确或出错，再给出判定。

报告称，传统模型的准确率约为 84%，思维链奖励模型约为 98.5%。嘉宾把它视为很有前景的做法：把评估任务也转化为语言推理，可能比单次隐式打分更可靠。

Kimi 的多模态训练还包含视觉题目和文本渲染样本，让模型处理图片中的文字时尽量保持与纯文本相近的能力。数据覆盖真实图像与合成问题，不过报告只披露了部分构造细节。

Kimi 最后讨论怎样把长思维链压缩成更短的回答。团队试了模型融合、拒绝采样、偏好优化和带长度惩罚的强化学习，目标是在减少 token 的同时尽量保住推理性能。

强化学习训练要协调策略模型、参考模型、奖励计算和长回答生成。Kimi 将训练框架与推理框架分开：训练阶段更新参数，生成阶段把参数传给推理服务，再把回答和奖励送回训练循环。

这一套工作负载包含训练与推理交替、多模型协作和显存管理。训练时的模型切分方式未必适合推理，参数搬运也有成本，因此训练框架、推理引擎和调度系统的效率会影响整体吞吐。

长回答会让一个批次里最慢的请求拖住其他任务。Kimi 的 partial rollout 会在达到设定长度后暂停尚未完成的回答，之后再继续，避免整个生成批次一直等待最长的那条。

奖励评估也可能变成瓶颈，尤其要运行代码测试或调用思维链奖励模型时。Kimi 通过异步评估提高吞吐量，让生成和打分尽量并行，而不是让每个训练步骤都同步等待所有结果。

长转短实验比较了模型融合、拒绝采样、偏好优化和长度惩罚强化学习。几种办法都能压缩回答，报告认为直接在强化学习中加入长度目标，在相同 token 预算下效果较好。

Kimi 还观察到，思维链更长通常能提高成绩，测试时算力增加与表现提升近似同步。但模型大小与推理长度之间存在取舍：小模型生成更长思维链，有时能接近大模型的效果。

这让推理模型的部署选择变得重要。如果瓶颈是推理预算，小模型可能用更多思考步骤换取能力；如果延迟和成本更重要，则要在模型规模、输出长度和准确率之间找到平衡。

报告也比较了较简单的拒绝采样微调与带负向梯度的强化学习。只挑正确回答继续微调，缺少对错误行为的明确抑制，性能提升明显弱于同时学习正向与负向反馈的优化方法。

课程采样的消融实验显示，按模型能力调整题目难度，能帮助训练更快进步。潘嘉怡由此强调，强化学习算法、训练数据和任务难度都很关键，不能把成功简单归因于模型规模或算力。

两份报告共同表明，推理训练不只是一条损失函数：还包括题目采样、奖励判定、推理服务、长回答调度和输出压缩。Kimi 的披露让复现者看到这些系统层面的选择。

接下来张小珺把话题从论文细节转到未来方向。DeepSeek 报告提出函数调用、多轮工具使用、格式化输出、语言一致性和软件工程任务等仍待改进。

问答环节先回顾数据与算法。潘嘉怡认为，R1 与 Kimi K1.5 的突破主要在强化学习范式，但它建立在足够强的基座模型上；若换成能力不足的模型，同样的算法未必能出现类似推理行为。

冷启动数据比传统大规模监督微调少，但强化学习仍依赖题目、答案和可验证信号。随着模型变强，训练题也要更难、更专业，数据标注可能从普通标注转向专家参与。

张小珺把标注者比作 AI 教练。潘嘉怡认同：当前模型仍需要人类构造训练环境和评价标准，未来研究目标之一，是让模型借助自监督、弱监督或自博弈减少对人工反馈的依赖。

多智能体自博弈被视为可能的方向：多个智能体互相协作或竞争，产生新的训练信号。不过嘉宾强调，这条路线还处于早期，尚未证明能稳定替代人类标注。

被问到标注规模时，潘嘉怡只能依据报告中的信息推测。Kimi 附录列出约二十位数据贡献者；她认为，难题、领域知识和用户真正需要的能力都可能是高质量训练数据的重要特征。

所谓“问题、思路、答案”是常见标注形式。即使训练只需要问题和答案，保留解题过程也有助于核验质量，并可能支持奖励模型或后续分析。未来智能体还需要软件开发、工具调用等多轮任务数据。

关于硬件效率，潘嘉怡指出，R1 报告没有披露足够细节，难以判断具体优化；GRPO 因省去价值模型，可能比 PPO 节省部分资源。相比之下，V3 报告公开了更多关于训练和推理效率的设计。

她解释 DeepSeek 输出较长，可能部分源于 Kimi 有意研究缩短思维链，而 DeepSeek 报告没有强调类似目标。回答长度不是单纯的好坏指标，要看推理性能、延迟、成本和用户体验。

蒸馏被认为是提升小模型能力的有效方式，但学生模型不一定真正理解老师输出。它可能模仿表面格式，出现不自然甚至幻觉式回答；蒸馏后再做强化学习，可以帮助它筛选适合自己的推理策略。

DeepSeek 报告比 Kimi 更容易引发讨论，嘉宾归因于开源文化、模型可以实际体验，以及 R1-Zero 的“顿悟时刻”带来的叙事张力。Kimi 提供更多工程细节，但少一个让大众迅速记住的故事。

对潘嘉怡而言，最令人兴奋的是强化学习与推理时扩展成为新的能力增长路线。o1 让行业看到方向，R1 则把训练逻辑展示得更直观，使研究者能继续探索新的问题。

她也提醒，R1-Zero 是否完全没有受到预训练数据中推理内容的影响，仍有讨论。若报告结论成立，强基座模型经过强化学习就能形成推理行为，这会是简洁而重要的发现。

小规模复现的经验是，基础模型能力需要与任务难度匹配。过强模型面对太简单的题，或较弱模型面对太难的题，都可能看不到有效的强化学习曲线；推理行为也许要跨过能力阈值才会出现。

张小珺总结说，R1 沿着 o1 的推理路线继续发展，但后训练扩展才刚开始。潘嘉怡认为，预训练成本高、进展慢，而后训练投入仍小，只要算法和数据改善，短期内仍可能快速提升。

强化学习的规模扩展还可以进入工具调用、软件工程和多轮任务。DeepSeek 报告提到让模型修复代码库问题、运行测试并提交改动；这比解一道短数学题更接近需要与环境交互的智能体。

要让模型完成真实软件任务，训练必须处理长周期交互、异步测试和高延迟反馈。潘嘉怡介绍，自己参与的 TinyZero 与后续工作也在探索这类可验证环境，帮助模型学习更复杂的行动策略。

问答转向 AI 标注人员。潘嘉怡认为，模型需要难度适当、覆盖专业知识并贴近用户需求的任务；未来数据可能从简单问答扩展到行业报告、软件开发和多轮工具使用。

她认为用户数据目前还没有明显形成稳定护城河，数据数量不必然转化为更好体验。若未来产品能在用户许可下观察真实的电脑操作，或许会提供更丰富的智能体训练信号。

谈到 DeepSeek 与 OpenAI 的竞争，潘嘉怡赞赏梁文峰的判断力和 DeepSeek 将资源转成创新的能力，但也指出 OpenAI 有强大的算力和组织积累，DeepSeek 要全面超越仍有距离。

最后她谈到职业选择：考虑到跨地域流动和行业环境，许多博士毕业生可能先在硅谷积累经验，再考虑后续路径。张小珺感谢嘉宾，并邀请听众继续关注节目、留言推荐话题。