第3章：神经网络核心
训练神经网络之正则化技术
1. 正则化的概念与目的
正则化（Regularization）是防止机器学习模型过拟合（Overfitting）的核心技术之一。其核心思想是通过在损失函数中引入额外的约束项，限制模型参数的复杂度，从而提高模型在测试数据上的泛化能力。
关键目标：
- 降低模型对训练数据的过度敏感
- 控制权重参数的幅度
- 提高对噪声数据的鲁棒性
2. 常见正则化方法
2.1 L1/L2正则化
| 类型 | 数学形式 | 特性 |
|---|---|---|
| L1正则化 | 产生稀疏权重矩阵（特征选择） | |
| L2正则化 | 使权重平滑衰减（更小的绝对值） |
代码示例（PyTorch实现）：
# L2正则化（权重衰减）
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-5)
2.2 Dropout
- 训练时以概率随机丢弃神经元节点
- 测试时使用所有神经元但乘以
- 相当于隐式的模型集成（Model Ensemble）
实现要点：
torch.nn.Dropout(p=0.5) # 通常在全连接层后使用
2.3 早停法（Early Stopping）
- 监控验证集性能
- 当验证损失连续轮不下降时终止训练
- 需要配合模型检查点（Checkpoint）使用
3. 进阶正则化技术
3.1 数据增强（Data Augmentation）
- 对输入数据进行随机变换（如旋转/裁剪/噪声）
- 尤其适用于计算机视觉任务
- 相当于隐式增加训练数据量
3.2 标签平滑（Label Smoothing）
- 将硬标签（0/1）替换为软标签（如0.1/0.9）
- 公式：
- 缓解模型对标签的过度自信
4. 正则化效果评估
诊断方法：
- 训练损失 vs 验证损失曲线
- 权重分布直方图
- 特征重要性分析
典型实验对比：
| 方法 | 训练准确率 | 测试准确率 | 过拟合程度 |
|---|---|---|---|
| 无正则化 | 98% | 82% | 严重 |
| L2+Dropout | 95% | 88% | 中等 |
| 综合方案 | 93% | 90% | 轻微 |
5. 实践建议
- 基础方案：优先尝试L2正则化 + Dropout
- CV任务：必须配合数据增强
- 超参数选择：通过网格搜索确定和Dropout率
- 组合策略：不同层可使用不同的正则化强度
扩展阅读：最新的研究显示，Batch Normalization本身也具有正则化效果，可与传统方法配合使用（参见第3章第6节）。
该内容包含理论解释、实现方法和实践指导，符合专业书籍的技术深度要求。如需增加具体案例或数学推导细节，可进一步扩展。