第 V 部分 · 机器学习
第 19 章 从样例中学习
Chapter 19 · Learning from Examples
本章导读
监督学习全景：从决策树到线性模型、SVM、kNN 与集成方法。核心问题是容量控制——在拟合训练数据与泛化到未见数据之间取得平衡。
学习要点
- 学习任务的三要素：表示 / 评估 / 优化；训练—验证—测试的划分纪律。
- 决策树学习：信息增益选择属性；过拟合的来源与剪枝、早停。
- 线性模型家族：线性回归、逻辑回归；正则化（L1 / L2）与梯度下降优化。
- 泛化理论概览：结构风险最小化、偏差—方差分解、交叉验证。
- 更多经典器：SVM 与核方法、kNN、集成学习（随机森林 / AdaBoost / GBDT）。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 监督学习 | Supervised Learning | 从带标签样例学习输入到输出的映射 |
| 假设空间 | Hypothesis Space | 学习器可表达的模型集合 |
| 过拟合 | Overfitting | 记住训练集细节而泛化能力下降 |
| 欠拟合 | Underfitting | 模型容量不足，训练误差也高 |
| 交叉验证 | Cross-Validation | 轮换验证集以估计泛化误差 |
| 决策树 | Decision Tree | 按属性测试逐层分支的树模型 |
| 信息增益 | Information Gain | 一次划分带来的熵下降 |
| 逻辑回归 | Logistic Regression | sigmoid 激活的线性分类器 |
| 正则化 | Regularization | 对模型复杂度施加惩罚以防过拟合 |
| 支持向量机 | SVM | 最大间隔分类器，可配合核技巧 |
| 集成学习 | Ensemble Learning | 组合多个模型提升表现（bagging / boosting） |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。