第 VII 部分 · 结论
第 27 章 哲学、伦理与安全
Chapter 27 · Philosophy, Ethics, and Safety of AI
本章导读
能力越强，对齐越难：算法公平与透明、工具性收敛带来的风险、价值对齐的技术路径，以及 AI 治理的社会议题。
学习要点
- 伦理框架：功利主义、义务论、美德伦理如何映射到算法设计；不同公平定义之间的不可能性结果。
- 偏差的来源与传导：数据偏差 → 表示偏差 → 决策回路放大；可解释性与透明度的价值。
- 工具性收敛目标：自我保存、资源获取、目标保全；回形针最大化思想实验。
- 对齐方法概览：RLHF、可纠正性、可解释性研究；红队测试与能力评估的难题。
- 治理与影响：开源与监管的张力、就业与经济结构变化、国际协作。
核心概念
| 术语 | English | 一句话解释 |
|---|---|---|
| 价值对齐 | Value Alignment | 让 AI 目标与人类价值保持一致的问题 |
| 工具性收敛 | Instrumental Convergence | 不同最终目标导出相似的中间子目标 |
| 公平性 | Fairness | 群体公平与个体公平的多种定义及冲突 |
| 可解释性 | Explainability / Interpretability | 决策依据对人类的可理解程度 |
| RLHF | Reinforcement Learning from Human Feedback | 用人类偏好训练奖励模型的对齐方法 |
| 红队测试 | Red Teaming | 主动寻找模型失效与滥用方式的评估 |
| 存在性风险 | Existential Risk | 足够强大的 AI 可能带来的灾难性后果 |
| 深度伪造 | Deepfake | 生成式模型被滥用于伪造内容 |
| 自动化偏见 | Automation Bias | 人类过度信任自动化系统的倾向 |