第 IV 部分 · 不确定知识与推理
第 17 章 复杂决策
Chapter 17 · Making Complex Decisions
本章导读
序贯决策中每个动作都改变未来处境：MDP 为「状态 + 动作 + 转移 + 奖励」环境给出值迭代与策略迭代两条经典解法，POMDP 再把不可观测纳入。
学习要点
- MDP 五元组与折扣回报；策略与值函数；贝尔曼最优方程的自洽性。
- 值迭代：反复应用贝尔曼算子收敛到 V*；策略迭代：评估与改进交替，二者的收敛与代价对比。
- 异同步值迭代等工程变体；从 V* / Q* 导出最优策略。
- POMDP：信念状态上的连续 MDP；观测对信念的更新；求解的巨大复杂度。
- 与第 22 章的衔接：转移模型与奖励未知时——从「规划」走向「学习」。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 马尔可夫决策过程 | MDP | 状态、动作、转移、奖励、折扣五元组 |
| 折扣因子 | Discount Factor γ | 未来奖励折算到当前的权重 |
| 策略 | Policy | 从状态到动作的映射 |
| 值函数 | Value Function | 某状态（或状态—动作对）的期望累积回报 |
| Q 函数 | Q-function | 状态—动作对的期望回报，第 22 章的主角 |
| 贝尔曼方程 | Bellman Equation | 最优值的一步自洽递归 |
| 值迭代 | Value Iteration | 反复应用贝尔曼算子求最优值 |
| 策略迭代 | Policy Iteration | 策略评估与策略改进交替收敛 |
| POMDP | Partially Observable MDP | 状态不可直接观测的 MDP |
| 信念状态 | Belief State | POMDP 中对状态的概率分布表示 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。