强化学习第 5 讲：无模型控制

David Silver 介绍无模型控制：当环境转移和奖励模型未知或使用成本过高时，通过经验学习策略。

他区分同策略学习和异策略学习：前者评估实际执行的行为，后者可以学习不同的目标策略。

许多实际环境过于复杂，难以精确建模或对模型求期望。与环境交互可以得到转移和奖励样本，而不必拥有完整模型。

他举出从自己行动和从其他智能体或人类示范中学习的例子。产生数据的行为不一定总是被评估的策略。

广义策略迭代在策略评估与策略改进之间交替。两种过程可以交错进行，不必每次都完整执行一个阶段。

课程先介绍蒙特卡洛控制：采样完整回合、估计回报，再用估计结果改进策略。

朴素方法有两个问题：仅凭状态价值选择动作需要转移模型；贪心策略还可能停止探索尚未尝试的动作。

动作价值 Q(s,a) 解决第一个问题：它估计在状态中采取动作后的回报，因此无需一步转移模型即可比较动作。

有了动作价值后，贪心改进选择 Q 最大的动作。蒙特卡洛估计可以根据状态—动作对的实际回报更新。

探索问题仍然存在：初次看起来最好的动作可能被永远选择，使潜在更好的动作始终未被测试。

ε-greedy 策略通常选择贪心动作，并以 ε 的概率从动作中随机选择。它在利用当前估计的同时保留一定探索。

Silver 解释为什么在所述策略改进条件下，ε-greedy 改进可以改善 ε-soft 策略。保证适用于定义的策略类别及其假设。

证明比较新旧策略下的期望动作价值；贪心部分不低于相应的加权平均值。

蒙特卡洛控制可以交替进行评估和 ε-greedy 改进。每次完全评估策略可能浪费样本，因此可以更频繁地更新。

不必等待精确评估：可以采样一个回合、更新估计、改进策略，再重复。这是广义策略迭代的一个例子。

GLIE 指“极限中贪心且无限探索”：动作持续得到充分探索，同时策略在极限中趋于贪心。

一种示例调度逐渐降低 ε，但仅仅降低它并不够：理论结果仍要求相关状态—动作对被无限次访问。

增量均值利用观察到的回报和访问次数更新 Q。在课程所述表格形式和 GLIE 条件下，蒙特卡洛控制收敛到最优动作价值。

Silver 回答初始化问题：在假设成立时渐近结果可以容忍不同初值，但初值会显著影响实际学习速度。

使用固定步长或有限数据时，初值和更新方式可能产生持续影响；渐近定理并不保证每一种实现都收敛。

二十一点例子展示如何利用采样回合改进动作价值和策略。得到的策略依赖所建模的游戏及其规则。

课程随后转向时序差分控制。TD 可以在回合结束前更新，并利用对未来价值的估计，这称为自举。

在线更新可能提高效率，但用部分基于现有估计的目标替代完整采样回报，也带来不同的偏差与方差权衡。

SARSA 使用状态、动作、奖励、下一状态和下一动作。一步目标是奖励加上当前策略实际选择的下一动作的折扣 Q 值。

更新以一定步长让 Q(s,a) 向 r + γQ(s′,a′) 移动。观察下一状态并选择下一动作后，过程继续。

每一步都可以从当前动作价值导出 ε-greedy 策略，使策略改进与 TD 评估同时进行。

SARSA 是同策略算法，因为其目标使用行为策略选择的下一动作。因此探索行为会体现在学习的价值中。

收敛结论要求表格设置下的探索和步长等假设。实际系统可能放宽条件，结果也可能不同.

他用带风的网格世界展示 SARSA：智能体需要在环境扰动下找到通向目标的路径，并通过反复交互改进。

图中的学习曲线和路径是特定示例的结果；探索策略、奖励和环境条件都会影响学到的行为。

一步 SARSA 只使用下一步奖励和下一个动作价值。也可以考虑更多步的实际奖励，再用后续价值估计补足剩余部分。

n 步回报把前 n 步折扣奖励与第 n 步之后的估计结合。n 越大，目标包含更多真实轨迹，也需要等待更长时间。

λ 回报把多个 n 步回报加权组合，较远步数通常获得较小权重。参数 λ 控制不同时间尺度的混合。

在课程讨论的极限下，λ = 0 对应一步 TD；λ 接近 1 时方法更接近使用完整回报的蒙特卡洛形式。

前向视角按未来不同长度的回报定义目标；要在线计算，可以用后向视角的资格迹，把新的 TD 误差分配给近期状态—动作对。

SARSA(λ) 为每个状态—动作对维护资格迹。访问该对时增加其迹，随后随时间衰减；较近的经历通常获得更大的更新权重。

一步 TD 误差比较新观察到的奖励和下一价值与先前估计。算法用该误差乘以资格迹来更新相关动作价值。

他用网格路径说明信用分配：出现意外奖励时，刚走过的状态—动作对可以比更早的经历获得更大调整。

λ 影响更新向过去传播的范围，也影响偏差与方差。更长的轨迹包含更多随机结果，但对自举估计的依赖较少。

资格迹可以在回合结束前把新信息传播回先前步骤，这对稀疏奖励任务可能有帮助，但不自动解决所有探索问题。

课堂问答澄清：各种 n 步目标都在估计未来累计回报，只是在何处使用现有价值估计上不同。

前向和后向视角在适当条件下描述相关的信用分配思想；实际在线实现与参数更新细节会影响严格等价性。

最后一部分介绍异策略学习：用行为策略产生的数据评估或改进另一个目标策略。

动机包括从人类或其他智能体的示范学习，以及重复利用过去收集的经验，而不必每次都按目标策略重新采样。

异策略方法也可以用一条经验流研究多个假设策略，但数据必须覆盖目标策略所需的行为，缺失支持无法凭权重修复。

重要性采样用目标策略与行为策略的概率比调整样本，以修正分布差异。概率很小或策略差异很大时，方差可能很高。

对长轨迹连乘概率比可能造成尤其大的方差。TD 方法只在较短的更新中使用自举，可以改变这一权衡，但并非没有风险。

Q-learning 是控制任务中的一种异策略 TD 方法：行为策略可以继续探索，而更新目标使用下一状态中当前估计最大的动作价值。

其一步目标是 r + γ maxₐ Q(s′,a)，再以步长将当前 Q(s,a) 向该目标移动。它与 SARSA 使用实际下一动作的目标不同。

探索策略与贪心目标策略可以不同。理论收敛仍依赖充分访问、适当步长及表格等假设，不应泛化为所有深度学习实现必然收敛。

Silver 把 Q-learning 的更新与贝尔曼最优方程联系起来：用环境样本替代动态规划中的完整期望，并向当前最优下一动作估计更新。

课程最后回顾蒙特卡洛、TD 与动态规划之间的联系，下一讲将讨论函数逼近以及如何处理更大的状态空间。