第 VI 部分 · 沟通、感知与行动
第 24 章 面向自然语言处理的深度学习
Chapter 24 · Deep Learning for NLP
本章导读
从词嵌入到 Transformer：分布式表示让词进入向量空间，注意力机制对齐上下文，「预训练 + 微调」范式开启了大语言模型时代。
学习要点
- 词向量：word2vec / GloVe；分布式假设；词类比与语义空间的几何性质。
- 序列建模：RNN 的梯度问题 → LSTM / GRU 门控结构；编码器—解码器 seq2seq。
- 注意力机制与 Transformer：自注意力、多头、位置编码；抛弃循环带来的并行性。
- 预训练语言模型：BERT（双向编码）与 GPT（自回归生成）两条路线；上下文学习现象。
- 对齐问题初探：幻觉、指令微调与 RLHF 概览，衔接第 27 章的安全讨论。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 词嵌入 | Word Embedding | 把词映射为稠密向量的分布式表示 |
| 分布式假设 | Distributional Hypothesis | 上下文相近的词语义相近 |
| word2vec | word2vec | skip-gram / CBOW 词向量训练法 |
| LSTM | Long Short-Term Memory | 用门控缓解长程依赖的循环网络 |
| 编码器—解码器 | Seq2Seq | 序列到序列生成的标准框架 |
| 注意力 | Attention | 对相关输入动态加权的对齐机制 |
| 自注意力 | Self-Attention | 序列内部元素相互关注的 Transformer 核心 |
| 位置编码 | Positional Encoding | 为无序注意力注入顺序信息 |
| 预训练 + 微调 | Pretrain–Finetune | 通用表示预训练后下游适配的范式 |
| 大语言模型 | LLM | GPT 类大规模自回归语言模型 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。