第 V 部分 · 机器学习
第 20 章 学习概率模型
Chapter 20 · Learning Probabilistic Models
本章导读
让贝叶斯网络从数据里长出来：最大似然与贝叶斯参数估计、朴素贝叶斯文本分类，以及带隐变量时的 EM 迭代框架。
学习要点
- 参数学习的两条路线：最大似然 MLE 与贝叶斯 MAP（先验 + 数据）。
- 完整数据下离散变量的共轭先验（狄利克雷）让后验有闭式解。
- 朴素贝叶斯分类器：条件独立假设下的高偏差 / 低方差权衡；文本分类与垃圾邮件过滤。
- 缺失与隐变量：EM 算法的 E 步（补全分布）与 M 步（重估参数）；混合模型与聚类。
- 生成模型 vs 判别模型的对比；结构学习概览（搜索 + 评分）。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 最大似然估计 | MLE | 选择使观测数据概率最大的参数 |
| MAP 估计 | Maximum A Posteriori | 选择后验概率最大的参数（含先验） |
| 狄利克雷先验 | Dirichlet Prior | 多项分布的共轭先验分布 |
| 朴素贝叶斯 | Naive Bayes | 属性条件独立假设下的概率分类器 |
| 词袋表示 | Bag of Words | 忽略语序、只统计词频的文本向量 |
| EM 算法 | Expectation–Maximization | 隐变量下交替求期望与最大化的迭代法 |
| 隐变量 | Latent Variable | 数据生成过程中不可直接观测的因素 |
| 高斯混合模型 | GMM | 多个高斯分量叠加，EM 的经典应用 |
| 生成 / 判别模型 | Generative vs Discriminative | 建模 P(X,Y) 还是只建模 P(Y|X) |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。