---
url: /ai/AI算法基础常识.md
---
#### 一、机器学习核心概念

* **学习范式**：分为监督学习、无监督学习和强化学习。
  * **监督学习**：输入特征和标签，目标是学习函数 f: X → Y，使 f(x) ≈ y。
    * **分类**：输出离散类别（如邮件分类）。
    * **回归**：输出连续数值（如房价预测）。
  * **无监督学习**：仅输入数据，无标签，目标是发现数据的内在结构。
    * **聚类**：将数据分组，组内相似，组间不同。常用算法包括 K-Means、层次聚类、DBSCAN。
    * **降维**：将高维数据映射到低维，常用算法包括 PCA、t-SNE、UMAP。
    * **自编码器**：通过编码器和解码器学习数据的低维表示，用于降维、去噪、特征学习和生成模型。
  * **强化学习**：智能体与环境交互，目标是最大化累积奖励。与监督学习不同，无标签，延迟反馈，序列决策。

* **偏差-方差权衡**：
  * **总误差分解**：E\[(y - ŷ)²] = 偏差² + 方差 + 不可约误差。
  * **高偏差**：模型太简单，无法拟合数据（欠拟合）。
  * **高方差**：模型太复杂，对训练数据敏感（过拟合）。
  * **解决方法**：增加训练数据、正则化、早停、数据增强等。

* **正则化技术**：
  * **L1正则化（Lasso）**：损失函数中加入权重绝对值和，具有稀疏性，用于特征选择。
  * **L2正则化（Ridge）**：损失函数中加入权重平方和，用于权重衰减，防止过拟合。
  * **Elastic Net**：结合 L1 和 L2 正则化，具有稀疏性和分组效应。
  * **Dropout**：训练时随机丢弃神经元，测试时保留所有神经元并乘以 (1-p)。具有集成效应、防止共适应、添加噪声。
  * **数据增强**：通过变换数据增加训练样本多样性，提高模型鲁棒性，防止过拟合。
  * **早停**：监控验证集误差，若连续多个 epoch 无改善则停止训练，防止过拟合。

#### 二、深度学习的数学基石

* **反向传播**：通过链式法则计算损失对参数的梯度，是训练神经网络的核心算法。
  * **前向传播**：逐层计算线性变换和激活函数。
  * **反向传播**：从输出层开始，逐层计算梯度，使用链式法则。
  * **计算图**：自动微分技术（如 PyTorch、TensorFlow）自动构建计算图并计算梯度。

* **梯度消失与爆炸**：
  * **梯度消失**：在深层网络中，梯度逐渐趋近于零，导致训练缓慢。
  * **梯度爆炸**：梯度过大，导致数值不稳定。
  * **解决方案**：使用 ReLU、残差连接、BatchNorm、LSTM、更好的初始化（如 Xavier、He）。

* **优化算法**：
  * **梯度下降**：计算整个数据集的梯度，收敛稳定但计算慢。
  * **随机梯度下降（SGD）**：每次使用一个样本，收敛快但不稳定。
  * **小批量梯度下降**：折中方案，利用向量化计算，适合 GPU 加速。
  * **动量（Momentum）**：累积历史梯度，加速收敛，减少震荡。
  * **自适应梯度**：如 AdaGrad、RMSprop、Adam，根据参数历史梯度调整学习率。
    * **Adam**：结合动量和 RMSprop，具有鲁棒性、收敛快、内存效率高，是当前主流优化器。
    * **AdamW**：修正 Adam 中 L2 正则化的实现，使学习率调整更准确。
    * **AMSGrad**：改进 Adam，解决可能不收敛的问题。
    * **RAdam**：改进 Adam 的 warmup，自动调整学习率。

#### 三、卷积神经网络（CNN）

* **卷积运算**：通过滑动窗口计算输入与卷积核的加权和，用于提取局部特征。
  * **一维卷积**：用于信号处理，如平滑滤波器。
  * **二维卷积**：用于图像处理，如边缘检测、高斯模糊、锐化。
  * **互相关 vs 卷积**：在深度学习中，通常使用互相关，因为卷积核是学习的，无需翻转。
* **池化层**：用于降维、增加感受野、平移不变性、特征选择。
  * **最大池化**：取每个区域的最大值。
  * **平均池化**：取每个区域的平均值。
  * **全局池化**：将每个通道的特征图降维为 1×1，用于替代全连接层。
* **经典 CNN 架构**：
  * **LeNet-5**：首次成功应用 CNN，用于手写数字识别。
  * **AlexNet**：引入 ReLU、Dropout、数据增强、GPU 训练，成为 ImageNet 冠军。
  * **VGGNet**：结构简单，使用 3×3 卷积核，参数量大但迁移学习效果好。
  * **GoogLeNet / Inception v1**：引入 Inception 模块、1×1 卷积降维、全局平均池化。
  * **ResNet**：引入残差块，解决梯度消失问题，支持更深网络，成为标准骨干网络。

#### 四、循环神经网络（RNN）与序列建模

* **RNN 的记忆机制**：通过隐藏状态 h_t 保存序列信息，适用于序列数据。
* **RNN 的训练**：使用 BPTT（时间反向传播），但存在梯度消失/爆炸问题。
* **LSTM**：通过三个门（遗忘门、输入门、输出门）控制信息流动，解决梯度消失问题。
  * **细胞状态**：信息高速公路，允许长期依赖。
  * **门控机制**：选择性地保留或更新信息。
* **GRU**：简化版 LSTM，仅两个门（重置门、更新门），参数更少，训练更快。
* **双向 RNN**：同时考虑过去和未来信息，适用于 NLP 任务（如 BERT）。

#### 五、Transformer 模型

* **自注意力机制**：通过查询（Q）、键（K）、值（V）计算注意力分数，实现全局依赖建模。
  * **注意力分数**：QK^T / √d_k，避免 softmax 饱和。
  * **Softmax 归一化**：将注意力分数归一化为概率分布。
  * **加权求和**：将注意力权重与值（V）相乘，得到输出。
* **多头注意力**：将输入投影到多个头，每个头计算不同注意力，最后拼接。
* **位置编码**：使用正弦/余弦函数，表示序列位置信息，支持外推。
  * **相对位置**：位置编码可以表示相对位置关系。
  * **外推能力**：即使训练时未见过的序列长度，也能计算位置编码。
* **掩码技术**：
  * **Padding Mask**：忽略填充位置。
  * **Look-ahead Mask**：防止解码器看到未来信息。
  * **组合掩码**：在训练中使用多个掩码。

#### 六、训练深度学习模型的实践技巧

* **数据预处理**：
  * **归一化**：使用 Min-Max 或 Z-score 标准化，使特征分布一致。
  * **图像归一化**：使用 ImageNet 的均值和标准差。
* **数据增强**：
  * **几何变换**：随机裁剪、翻转、旋转、仿射变换。
  * **颜色变换**：颜色抖动、灰度化、回译、自动增强。
  * **高级增强**：Mixup、CutMix、RandAugment，增加样本多样性。
* **学习率调度**：
  * **Step Decay**：按固定步长衰减学习率。
  * **MultiStep Decay**：在特定 epoch 衰减。
  * **Exponential Decay**：按指数衰减。
  * **Cosine Annealing**：按余弦曲线衰减，支持重启。
  * **Warmup**：训练初期使用小学习率，防止不稳定。
  * **ReduceLROnPlateau**：根据验证损失调整学习率。
  * **Cyclic LR**：学习率在一定范围内循环，有助于跳出局部最优。
  * **OneCycle LR**：先快速增长，再衰减，适合快速训练。
* **梯度裁剪**：
  * **按值裁剪**：限制梯度的绝对值。
  * **按范数裁剪**：限制梯度的范数，防止爆炸。

#### 七、强化学习基础

* **马尔可夫决策过程（MDP）**：强化学习的核心框架，包含状态、动作、转移概率、奖励、折扣因子。
* **Q-Learning**：基于价值函数的算法，无需环境模型。
  * **TD 误差**：当前 Q 值与目标 Q 值的差值。
  * **ε-贪心策略**：平衡探索与利用。
* **深度 Q 网络（DQN）**：
  * **经验回放**：打破样本相关性，提高训练稳定性。
  * **目标网络**：定期更新，防止目标变化过快。
* **策略梯度（Policy Gradient）**：
  * **直接学习策略**：适用于连续动作空间。
  * **REINFORCE**：基于策略的算法，使用重要性采样。
* **PPO（Proximal Policy Optimization）**：
  * **限制策略更新幅度**：防止策略偏离旧策略。
  * **优势函数**：衡量动作相对于平均的优劣。
  * **多轮更新**：重复使用数据，提高样本效率。
  * **应用**：如 OpenAI Five、ChatGPT 的 RLHF 训练。

#### 八、强化学习与人类反馈（RLHF）

* **RLHF 三阶段**：
  1. **监督微调（SFT）**：使用人工标注的高质量示例训练模型。
  2. **奖励模型训练**：通过人工排序生成的回复，训练奖励模型。
  3. **PPO 优化**：使用奖励模型优化策略，使模型更符合人类偏好。

#### 九、本章总结

* **机器学习基础**：监督、无监督、强化学习，以及偏差-方差权衡、正则化技术。
* **深度学习数学**：反向传播、优化算法（SGD → Adam）、梯度消失/爆炸问题。
* **核心架构**：CNN、RNN、Transformer，分别用于图像、序列、全局依赖建模。
* **训练技巧**：数据预处理、学习率调度、梯度裁剪、BatchNorm 等归一化技术。
* **强化学习**：MDP 框架、Q-Learning、DQN、策略梯度、PPO，以及 RLHF 技术。

***

### 关键信息总结

* **机器学习三类**：监督、无监督、强化学习。
* **正则化技术**：L1、L2、Dropout、数据增强、早停。
* **深度学习核心**：反向传播、优化算法（Adam、AdamW）、梯度消失/爆炸。
* **CNN 结构**：卷积层、池化层、经典架构（LeNet、AlexNet、VGG、Inception、ResNet）。
* **RNN 与 LSTM/GRU**：记忆机制、BPTT、梯度问题、双向 RNN。
* **Transformer**：自注意力、多头注意力、位置编码、掩码、实现技巧。
* **训练技巧**：数据预处理、学习率调度、梯度裁剪、BatchNorm。
* **强化学习**：MDP、Q-Learning、DQN、策略梯度、PPO、RLHF。

***

### 专业术语与技术要点

* **偏差-方差权衡**：模型复杂度与泛化能力的平衡。
* **反向传播**：通过链式法则计算梯度。
* **梯度消失/爆炸**：深层网络训练中的常见问题。
* **正则化**：L1、L2、Dropout、数据增强、早停。
* **优化算法**：SGD、Momentum、AdaGrad、RMSprop、Adam。
* **卷积运算**：滑动窗口、互相关、卷积核、输出尺寸计算。
* **池化**：最大池化、平均池化、全局池化。
* **LSTM/GRU**：门控机制、细胞状态、梯度问题。
* **Transformer**：自注意力、多头注意力、位置编码、掩码。
* **RLHF**：强化学习与人类反馈，用于对齐模型行为。

***

### 技术实现要点

* **PyTorch 示例**：如 AdamW、Dropout、BatchNorm、梯度裁剪。
* **数学公式**：如总误差分解、梯度计算、注意力机制、Q-Learning 更新。
* **算法流程**：如 PPO 的训练流程、DQN 的经验回放与目标网络。

***

### 应用场景

* **图像处理**：CNN、数据增强、归一化。
* **自然语言处理**：RNN、Transformer、RLHF。
* **强化学习**：DQN、PPO、RLHF（如 ChatGPT）。
* **模型优化**：正则化、梯度裁剪、学习率调度、BatchNorm。

***