优化方法概述

1. 优化问题的定义

在深度学习中，优化问题通常表示为寻找一组模型参数 θ\theta，使得损失函数 L(θ)L(\theta) 达到最小值：

θ∗=arg min⁡θL(θ)\theta^* = \argmin_{\theta} L(\theta)

其中：

  • L(θ)L(\theta) 是衡量模型预测与真实值差异的函数
  • θ\theta 包含所有权重和偏置参数

2. 常见优化方法分类

2.1 一阶优化方法

基于梯度信息进行参数更新：

  • 梯度下降（GD）：

    θt+1=θt−η∇L(θt)\theta_{t+1} = \theta_t - \eta \nabla L(\theta_t)

  • 随机梯度下降（SGD）： 每次使用单个样本或小批量计算梯度
  • 动量法（Momentum）：

    vt+1=γvt+η∇L(θt)v_{t+1} = \gamma v_t + \eta \nabla L(\theta_t)

    θt+1=θt−vt+1\theta_{t+1} = \theta_t - v_{t+1}

2.2 自适应学习率方法

  • AdaGrad： 对频繁参数使用较小学习率

    θt+1,i=θt,i−ηGt,ii+ϵ∇L(θt,i)\theta_{t+1,i} = \theta_{t,i} - \frac{\eta}{\sqrt{G_{t,ii}+\epsilon}} \nabla L(\theta_{t,i})

  • RMSProp： 解决AdaGrad学习率衰减过快问题
  • Adam： 结合动量和自适应学习率

3. 优化方法比较

方法优点缺点适用场景
SGD简单，理论保证收敛慢，易陷局部最优凸问题
Momentum加速收敛需要调动量参数非凸地形
Adam自适应，默认表现好可能不收敛到最优解大多数深度学习任务

4. 深度学习中的特殊挑战

  1. 非凸优化：损失函数存在多个局部最优
  2. 鞍点问题：高维空间中梯度为0的非极值点
  3. 梯度消失/爆炸：深层网络的常见问题

5. 实践建议

  1. 优先尝试Adam作为baseline
  2. 学习率使用warmup策略
  3. 结合学习率衰减（如cosine衰减）
  4. 对于RNN类模型可考虑使用Clipped Gradient

数学基础补充

Hessian矩阵（二阶优化）：

Hij=∂2L∂θi∂θjH_{ij} = \frac{\partial^2 L}{\partial \theta_i \partial \theta_j}

Lipschitz连续性：

∥∇L(θ1)−∇L(θ2)∥≤M∥θ1−θ2∥\|\nabla L(\theta_1) - \nabla L(\theta_2)\| \leq M\|\theta_1 - \theta_2\| 


该内容包含：
1. 优化问题的数学表述
2. 方法分类与公式展示
3. 对比表格便于理解差异
4. 深度学习特有的优化挑战
5. 实际工程建议
6. 关键数学概念补充

需要扩展任何部分（如具体算法实现细节或案例）可随时告知。
Last Updated::