第 V 部分 · 机器学习
第 21 章 深度学习
Chapter 21 · Deep Learning
本章导读
多层神经网络的表示学习：反向传播让梯度穿过层层堆叠，卷积与循环结构注入归纳偏置，一整套优化与正则化技巧支撑起现代大模型的工程基础。
学习要点
- 从感知机到 MLP：隐藏层带来通用逼近能力；线性模型的根本局限（XOR）。
- 反向传播：链式法则的高效实现；计算图与自动微分思想。
- 训练工程学：SGD / 动量 / Adam、批归一化、dropout、学习率调度与初始化。
- 结构先验：CNN（局部性 + 平移不变）、RNN（序列递归）、Transformer（注意力）概览。
- 表示学习视角：层级特征自动构建 vs 手工特征；数据与模型规模的经验规律。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 多层感知机 | MLP | 全连接层堆叠的基础神经网络 |
| 反向传播 | Backpropagation | 链式法则逐层回传梯度的高效算法 |
| 激活函数 | Activation Function | ReLU / sigmoid / tanh 等非线性单元 |
| 梯度消失 / 爆炸 | Vanishing / Exploding Gradient | 深层网络梯度逐层衰减或放大的问题 |
| 随机梯度下降 | SGD | 按小批量估计梯度的迭代优化 |
| Adam | Adam Optimizer | 自适应学习率的一阶优化器 |
| Dropout | Dropout | 训练时随机失活神经元抑制过拟合 |
| 批归一化 | Batch Normalization | 稳定层间输入分布的训练技巧 |
| 卷积神经网络 | CNN | 局部连接 + 权值共享的视觉结构先验 |
| Transformer | Transformer | 完全基于自注意力的现代主流架构 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。