Volodymyr Mnih：深度强化学习智能体巡览

Volodymyr Mnih 回顾 DeepMind 深度强化学习方法的发展。他把智能描述为跨多种任务进行序贯决策的能力，同时指出具体方法可能变化。

他区分了强化学习的问题表述与深度学习学习表示和计算的方式。二者结合，使智能体能够根据高维观察采取行动。

Mnih 介绍 GPU、合适的环境与训练方法如何汇合。Arcade Learning Environment 让 Atari 成为检验像素输入学习的有用平台。

强化学习的数据彼此相关，并随策略改变。用函数近似器进行自举可能让学习不稳定；确定性策略也可能陷入局部最优。

他回顾表格型 Q-learning：收集状态转移、选择探索性动作，并用奖励加下一状态的折扣价值估计来更新动作价值。

使用神经网络时，相继样本以及目标估计与正在更新的价值相关。这些依赖可能使网络学习时目标也随之移动。

DQN 使用经验回放，从过去的状态转移中抽取小批量样本；它还定期把在线网络参数复制到目标网络，以缓解这些问题。

目标参数固定时，价值拟合在一段时间内类似监督学习。Mnih 回答了有关回放采样、缓冲区大小和这一类比局限的问题。

他指出早期神经拟合 Q 迭代工作是灵感来源。DQN 将这一思想用于在线小批量更新，避免每一局之后重新训练卷积网络。

最初的 Atari 网络堆叠四帧，经过卷积层，为每个可用动作输出价值。不同游戏使用相同架构和设置，但各自训练独立网络。

Mnih 讨论视觉表示和游戏过程中的动作价值示例。在 Pong 中，随着球接近，估计值变化，显示何时移动球拍变得重要。

其他例子展示估计价值如何响应《太空侵略者》中高价值目标等事件。这些可视化帮助研究者检查智能体的预测，但不能证明其推理方式与人类相同。

他回顾 DQN 以来 Atari 人类标准化分数中位数的改进，以及小批量 Q-learning 的优缺点。单步自举可能缓慢传播奖励，并难以区分相似状态。

为加快实验，团队探索异步方法。单台 CPU 机器上的多个 actor-learner 与环境交互并更新共享参数，而不是依赖回放缓冲区。

其直觉是，并行智能体访问状态空间的不同部分，使汇总更新的相关性降低。该框架可以容纳多种强化学习算法。

优势 actor-critic 的策略更新使用动作相对于状态价值的优势估计；价值函数与策略一起训练。

并行化不仅可能缩短时间，也可能通过减少有害相关性提高数据效率。Mnih 指出，在这些实验中 actor-critic 的表现与某些 Q-learning 变体不同。

A3C 可用于循环和前馈网络、三维导航及连续控制。较小的网络能够在 CPU 上高效训练，但架构存在扩展限制。

多步更新能在一次更新中把奖励传播得更远，也可降低当前估计与自举目标之间的依赖。Mnih 说，这在他们的实验中使循环网络训练更容易。

将 A3C 分布到多台机器可以增加经验收集量，却会引入过时梯度：工作节点的梯度到达时，共享参数可能已经改变。

IMPALA 将多个 actor 与集中式 learner 分开。actor 发送轨迹而非梯度，learner 可在 GPU 上批量更新；经验仍可能来自较旧的策略。

V-trace 使用重要性加权纠正策略滞后，并通过截断控制方差，代价是引入偏差。它可以缓解行动策略与学习策略之间适度的差异。

Mnih 比较 DeepMind Lab 任务中的吞吐量和数据效率。在所报告的实验与设置中，IMPALA 比分布式 A3C 吞吐量更高、表现更稳健。

演讲中的比较显示，在 30 个 Lab 关卡上共同训练的单个 IMPALA 网络出现正迁移。他还介绍一个同时训练 57 款 Atari 游戏的网络；由于游戏外观和行为差异大，迁移更困难。

实践方面，Mnih 建议先从可控、运行迅速的玩具问题开始，再绘制学习曲线、智能体行为和价值估计，以诊断失败。

他的例子是一个简单接球游戏：转向 Atari 前，可以调整场地大小、挡板和下落物体的行为。它可以快速检查学习算法。

奖励塑形可以帮助学习，也可能产生意外的最优解：如果机器人因抓住并移动物体而获得奖励，它可能始终学不会放下。优化的奖励需要与真实目标对照。

最后他讨论折扣、网络大小、初始化和优化器。小模型有助于调试，但容量有限本身可能使学习更难；初始化也应保留探索能力。