Jason Mancuso：跨不同 GPU 扩展智能体强化学习

Modal 的 Jason Mancuso 认为，如果只把模型视为可以随时替换的静态后端，可能限制产品差异化。部署智能体的团队必须平衡成本、可靠性和用户体验质量。

他说，有些客户微调开放模型，是为了自主掌握推理并满足可靠性目标；另一些客户则面对通用模型无法充分处理的专有数据或特殊任务。

Mancuso 还看到更多团队希望整合智能体技术栈，以每美元完成任务的质量参与竞争，编程领域尤其明显。他预计随着更多行业的智能体产品成熟，微调兴趣也会扩大。

他比较了使用记录轨迹进行监督微调和在环境中进行强化学习。智能体会话经过多个回合并产生分支，因此只用既有路径训练，可能让模型无法应对之后遇到的其他路径。

强化学习可以在训练期间生成并评估新的轨迹，让模型有机会探索更多任务路径。Mancuso 认为，这也是团队希望强化学习能够超越已记录轨迹并实现泛化的原因之一。

他认为，生产环境中的智能体工具链以及评测或变更衡量方式，可以作为强化学习环境的起点。团队还可以从生产轨迹中生成代表性任务，包括智能体失败的案例。

训练循环主要有两部分：采样 GPU 在环境中运行模型并生成轨迹；训练器消费这些结果、更新模型，然后把新权重发回采样器。

顺序循环能使轨迹与最新模型保持一致，却可能让硬件空闲。异步并行执行轨迹生成和训练，尤其对耗时较长的智能体任务，有助于提高利用率。

代价是策略过时：轨迹可能由较旧模型版本生成，而训练器已经更新。采样策略与训练策略之间的差异可能使更新不稳定。

系统细节还会引入其他不匹配：推理和训练软件栈、数值精度、路由与硬件可能表现不同。Mancuso 说，方法必须纠正重要差异，同时避免淹没训练信号。

该方案以 GRPO 为基础，增加掩码重要性采样。这个方法按采样策略与训练策略的差异调整逐 token 权重，同时屏蔽可能主导更新的极端比率。

第二个组件是分数中心化，用来处理仍然存在或由掩码重新引入的漂移。Modal 的技术说明将其描述为减去一个期望分数项，使保留下来的训练信号受到较少扭曲。

第三个组件是 top-p 采样与掩码重放。采样将候选 token 限制在包含指定累计概率质量的集合中；重放掩码则让训练器使用相同的候选范围。

Mancuso 展示了在智能体编程任务上使用 Qwen3.6-35B-A3B 的消融实验。他报告说，在该测试中，结合这些修正比展示的其他方案训练更稳定。

随后他解释 Modal 为什么关注分布式强化学习。公司提供训练、推理和沙箱环境，但 GPU 容量来自多个服务商和地区，而不是单一、统一的资源池。

这种聚合方式带来灵活性，也使可用容量变得分散。Mancuso 说，较小集群可以较快调度，但为更大集群寻找连续资源可能耗时很长。

针对相关智能体强化学习工作负载，他估计每个训练 GPU 约需要两个推理 GPU。如果它们都必须位于同一集群，大量稀缺的连续资源就会被轨迹推理占用。

团队提出将推理移到主集群之外。Mancuso 说，相邻模型权重的更新足够稀疏，可以大幅压缩，从而减少训练器发送给轨迹生成引擎的数据量。

在报告的 Qwen 实验中，训练集群位于一个地点，而推理 GPU 分布在多个云服务商。Mancuso 说，在他们的测试中，稀疏增量压缩使这种安排切实可行。

团队还混用 GPU 类型和精度设置。训练器与采样器使用不同加速器时，数值和内核差异可能增加，而这些差异传统上会威胁训练稳定性。

Mancuso 展示一次混合硬件运行，并说其不匹配程度比同构设置高出数倍，但在报告的修正方案下，奖励和梯度表现仍然相当稳定。

他报告，这次运行的轨迹生成成本降低了 15%，因为部分推理使用了更便宜的硬件。这个数字描述的是特定工作负载和资源组合，不代表所有强化学习部署都会节省成本。

团队还使用了不同精度，包括在 H200 资源池上使用 BF16 和 FP8。Mancuso 说，在测试设置中，即使存在额外不匹配，修正方法仍支持从这些量化轨迹中学习。

他推荐阅读 Modal 的技术文章，并说实现基于 Miles 和 SGLang。他的更广泛建议是，团队除了智能体工具链，还应建立评测、推理和训练方面的能力。

Mancuso 最后认为，掌握更多技术栈有助于在竞争激烈的智能体市场中建立差异化。这些技术的结果来自特定编程智能体设置，并不保证所有强化学习问题都已解决。