使用可验证奖励训练 GPT-OSS 的 2048 策略

在这期 2025 年 12 月的教程中，我使用本地 2048 游戏和开放权重 GPT-OSS 模型，演示带可验证奖励的强化学习。NVIDIA 与我合作制作了这期视频，我使用的是 RTX 5090 和 Unsloth 笔记本。这只是一个具体实验，并不能证明每台家用电脑都能训练所有模型。

可验证奖励是一种自动信号，根据预先定义的检查对结果打分。系统可以尝试候选行为并利用分数训练，不必由人逐一评分。但环境、目标和检查仍由人设计；奖励只能衡量其实现实际检查的内容。

例子是 2048：合并数字方块，同时避免棋盘填满。我使用 GPT-OSS 和奖励函数，训练模型生成游戏策略。我把初始模型描述为不懂这个游戏，但视频并没有证实它的预训练数据中包含什么。

我的电脑使用 RTX 5090。我认为其他 NVIDIA 硬件也可能运行，只是速度可能更慢；但兼容性还取决于显存、软件和模型配置。视频提供了笔记本与安装说明的链接，读者应核对自己硬件的要求，而不是假定每款 GPU 都受支持。

尝试多种设置后，我选择 Windows Subsystem for Linux 和 Ubuntu。准备工作包括更新 NVIDIA 驱动、安装 CUDA、使用 `nvidia-smi` 检查 GPU 是否可见、创建 Python 环境，以及安装 PyTorch、Unsloth 和 Jupyter。具体命令与兼容性可能随软件版本变化。

从链接资源下载笔记本后，我在本地 Jupyter 会话中打开它。我跳过一个用于云端设置的单元，运行导入并加载基础模型。笔记本单元提供了可检查的执行顺序；如果某一步失败，我可以调查该步骤和终端日志。

笔记本使用 LoRA 微调相对较少的附加参数，而不是改变模型的全部权重。它将此作为降低内存用量的方法；实际节省多少以及最终质量取决于实现和训练配置。

接着我运行一个 2048 变体，笔记本称其由 GPT-5 创建。我测试棋盘移动，确认环境会更新棋盘。这个独立的游戏实现提供了评估生成策略所需的环境。

评估函数运行所提出的策略、检查游戏状态，并设置时间限制，避免策略无限运行。一个反复选择同一移动方式的简单基线因超时而结束。额外检查旨在发现策略利用评估机制、而不是按预期玩游戏的情况。

模型生成一段简短的 Python 策略，笔记本将其提取出来并在游戏环境中运行。自动奖励函数检查函数能否运行、是否违反指定规则，以及能否成功达到目标。随后笔记本利用这些信号，通过 GRPO 训练模型。

模型最初的一次输出不完整，因为生成在设定的 token 上限处停止，导致代码执行失败。我保留这次失败，解释反馈可以用于训练。一个失败样本提供了评分机会，但不能证明之后的每个策略都会有效。

我启动 `trainer.train()`，上限设为 1,000 步，并监控 GPU 活动和训练指标。第一次报告的奖励为负；我还指出 KL 指标可以反映与参考模型的差异。训练需要时间，所需步数也可能不同。

在展示的运行中，经过 84 次迭代出现了高奖励结果，画面上的一个棋盘达到了 2048 方块。我将其描述为成功策略，并说可以保存适配后的模型或推送到 Hugging Face。我跳过了单独的训练后推理测试，因此视频没有确立可重复的胜率或完美策略。

我估计整个过程包括计算在内耗时约六小时，设置本身不到一小时，但不包括我和团队学习该工作流程所花的时间。这是在所展示硬件上的单次结果。要衡量可靠性，还需要对不同游戏和初始状态进行独立评估。

随着较小模型和个人设备改进，我看到了本地训练与定制的潜力。可验证奖励可以让一些任务更容易自动评分，但奖励定义清晰本身并不能证明系统安全、私密，或适合重要任务。

我还提到其他可能的应用，包括游戏、分析和控制小型车辆，只要能够定义有用的奖励即可。这些是可能性，而非本视频中的演示。我感谢 NVIDIA 和 Unsloth 的合作，并为想探索该实验的观众提供笔记本和说明链接。