第 V 部分 · 机器学习
第 22 章 强化学习
Chapter 22 · Reinforcement Learning
本章导读
没有 MDP 的转移模型，只有与环境交互得到的奖励流：从被动 ADP / TD 到主动 Q-learning，再到函数逼近与深度 RL，智能体在试错中学出策略。
学习要点
- RL 与规划（第 17 章）的差别：模型未知，必须平衡探索与利用。
- 被动学习（固定策略学效用）：ADP 先学模型再值迭代；TD 直接用下一状态自举更新。
- 主动学习：Q-learning 的离策略特性；SARSA 的在策略对照。
- 探索策略：ε-贪心、乐观初始化与 UCB 思想；探索中的 Dire straits 问题。
- 大规模状态空间：函数逼近、经验回放与目标网络（DQN 思路）；策略梯度与模仿学习概览。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 强化学习 | Reinforcement Learning | 从延迟奖励信号中学习行为策略 |
| 探索与利用 | Exploration vs Exploitation | 尝试新动作还是沿用已知好动作 |
| 时序差分学习 | TD Learning | 用下一状态的估计自举更新当前值 |
| Q-learning | Q-Learning | 离策略的动作值迭代算法 |
| SARSA | SARSA | 在策略的时序差分控制算法 |
| ε-贪心 | Epsilon-Greedy | 以小概率随机探索的简单策略 |
| 函数逼近 | Function Approximation | 用参数化模型表示值函数或策略 |
| 经验回放 | Experience Replay | 缓存转移、随机采样以打破相关性 |
| 策略梯度 | Policy Gradient | 对策略参数直接做梯度上升的方法族 |
| 模仿学习 | Imitation Learning | 从专家示范中学习行为 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。