第 VI 部分 · 沟通、感知与行动
第 23 章 自然语言处理
Chapter 23 · Natural Language Processing
本章导读
语言是离散组合的符号系统：从 n-gram 语言模型与文法分析，到语义表示与统计机器翻译，本章搭起经典 NLP 的统计框架。
学习要点
- 语言模型：n-gram、平滑技术；用困惑度评估。
- 文本分类与信息检索：词袋表示、TF-IDF 权重与向量空间模型。
- 句法分析：上下文无关文法 CFG、概率 CFG；CYK 等分析算法概览。
- 语义：组合语义原则、一阶逻辑作为意义表示、词义消歧。
- 统计机器翻译的经典流程（对齐 + 语言模型），为第 24 章的神经方法铺垫。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| N 元语法 | N-gram | 依赖前 n−1 个词的马尔可夫语言模型 |
| 平滑 | Smoothing | 为训练中未见的事件分配非零概率 |
| 困惑度 | Perplexity | 语言模型交叉熵的指数，越小越好 |
| 词袋 | Bag of Words | 忽略语序、只保留词频的文档表示 |
| TF-IDF | TF-IDF | 词频 × 逆文档频率的经典权重 |
| 上下文无关文法 | CFG | 用产生式规则刻画句法结构的形式文法 |
| 概率上下文无关文法 | PCFG | 为每条规则附加概率的文法 |
| 组合语义 | Compositional Semantics | 整体意义由部分意义组合而来 |
| 统计机器翻译 | SMT | 基于平行语料与短语表的传统翻译框架 |
配套代码（aima-python）
aima-python 是官方维护的开源算法库（MIT 协议），建议每学完一章就跑一遍对应模块的示例。