第 IV 部分 · 不确定知识与推理
第 13 章 概率推理
Chapter 13 · Probabilistic Reasoning
本章导读
贝叶斯网络用有向图编码条件独立，把联合分布分解为局部因子的乘积；精确推理（枚举 / 变量消元）与近似推理（采样）是两条主线。
学习要点
- 贝叶斯网络结构：节点 = 变量、边 = 直接依赖，每个节点带条件概率表 CPT。
- 网络语义：联合分布 = 各 CPT 的乘积；用马尔可夫毯读出条件独立。
- 精确推理：枚举推理 → 变量消元（因子合并）的效率跃升；最坏情况仍是指数级。
- 近似推理：拒绝采样、似然加权（重要性采样）与 Gibbs 采样（MCMC）的原理与偏差来源。
- 网络构建：因果方向优先；「相关不等于因果」的辨析与诊断应用案例。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 贝叶斯网络 | Bayesian Network | 有向无环图 + 条件概率表的概率模型 |
| 条件概率表 | CPT | 节点在父节点每种取值组合下的概率 |
| 马尔可夫毯 | Markov Blanket | 父节点 + 子节点 + 子节点的其他父节点 |
| D-分离 | D-separation | 在图上判定条件独立的图形准则 |
| 变量消元 | Variable Elimination | 通过因子求和消去中间变量的精确推理 |
| 拒绝采样 | Rejection Sampling | 采样后丢弃与证据不符的样本 |
| 似然加权 | Likelihood Weighting | 证据固定采样、按似然给样本加权 |
| Gibbs 采样 | Gibbs Sampling | 逐变量按条件分布更新的 MCMC 方法 |
| 马尔可夫链蒙特卡洛 | MCMC | 构造马尔可夫链逼近目标分布的一族方法 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。