附录

术语表

本术语表提供了本书中涉及的关键深度学习术语及其简明定义，按字母顺序排列：

A

  • 激活函数（Activation Function）
    神经网络中用于引入非线性特性的函数（如ReLU、Sigmoid、Tanh），决定神经元是否应被激活。

  • 注意力机制（Attention Mechanism）
    一种动态权重分配技术，使模型能够聚焦于输入数据的关键部分（如Transformer中的自注意力）。

B

  • 反向传播（Backpropagation）
    通过链式法则计算损失函数对网络参数的梯度，用于优化神经网络。

  • 批量归一化（Batch Normalization）
    对每一批训练数据进行标准化处理，加速网络训练并提升稳定性。

C

  • 卷积神经网络（CNN）
    专用于处理网格结构数据（如图像）的神经网络，通过卷积核提取局部特征。

D

  • 深度学习（Deep Learning）
    机器学习的分支，使用多层神经网络自动学习数据的高层次特征表示。

  • Dropout
    正则化技术，随机在训练期间禁用部分神经元以防止过拟合。

E

  • 嵌入（Embedding）
    将离散数据（如单词）映射为连续向量空间的低维表示。

F

  • 前向传播（Forward Propagation）
    输入数据通过神经网络层层传递至输出层的过程。

G

  • 生成对抗网络（GAN）
    由生成器和判别器组成的框架，通过对抗训练生成逼真数据。

L

  • 长短期记忆网络（LSTM）
    一种改进的RNN结构，通过门控机制解决长序列依赖问题。

N

  • 自然语言处理（NLP）
    计算机理解、生成人类语言的技术领域（如机器翻译、文本生成）。

R

  • 循环神经网络（RNN）
    处理序列数据的神经网络，具有时间步间的循环连接。

S

  • 自监督学习（Self-Supervised Learning）
    利用数据本身生成监督信号的训练范式（如掩码语言建模）。

T

  • Transformer
    基于自注意力机制的模型架构，摒弃循环结构，擅长处理长序列依赖。

V

  • 变分自编码器（VAE）
    生成模型，通过编码-解码结构学习数据的概率分布。

注：完整术语表可扩展至书中所有关键概念，建议结合各章内容交叉参考。本表仅列出高频核心术语。


如果需要进一步扩展（如增加术语示例、数学符号说明或领域细分术语），可随时补充。
Last Updated::