第2章：数学与计算基础

线性代数入门

1. 标量、向量与矩阵

  • 标量（Scalar）：单个数值（如温度、质量），是零维张量。
  • 向量（Vector）：一维有序数组（如坐标点、特征向量），表示为 v=[v1,v2,…,vn]\mathbf{v} = [v_1, v_2, \dots, v_n]。
  • 矩阵（Matrix）：二维数组（如灰度图像、权重矩阵），表示为 A∈Rm×n\mathbf{A} \in \mathbb{R}^{m \times n}。

示例：
图像数据可表示为三维张量（高度×宽度×通道数）。

2. 基本运算

向量运算

  • 加法：对应元素相加，u+v=[u1+v1,…,un+vn]\mathbf{u} + \mathbf{v} = [u_1+v_1, \dots, u_n+v_n]。
  • 点积：u⋅v=∑i=1nuivi\mathbf{u} \cdot \mathbf{v} = \sum_{i=1}^n u_i v_i，用于衡量相似性。

矩阵运算

  • 矩阵乘法：若 A∈Rm×n\mathbf{A} \in \mathbb{R}^{m \times n}，B∈Rn×p\mathbf{B} \in \mathbb{R}^{n \times p}，则乘积 C=AB\mathbf{C} = \mathbf{AB} 满足 Cij=∑k=1nAikBkjC_{ij} = \sum_{k=1}^n A_{ik} B_{kj}。
  • 哈达玛积（Hadamard Product）：逐元素相乘，A⊙B\mathbf{A} \odot \mathbf{B}。

3. 特殊矩阵与性质

类型定义应用场景
单位矩阵 I\mathbf{I}对角元素为1，其余为0权重初始化、矩阵求逆
对称矩阵A=AT\mathbf{A} = \mathbf{A}^T协方差矩阵、Hessian矩阵
正交矩阵ATA=I\mathbf{A}^T\mathbf{A} = \mathbf{I}特征分解、降维

4. 特征分解与奇异值分解（SVD）

  • 特征分解：将方阵 A\mathbf{A} 分解为 A=QΛQ−1\mathbf{A} = \mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^{-1}，其中 Λ\mathbf{\Lambda} 为特征值对角矩阵。
  • SVD：任意矩阵 A\mathbf{A} 可分解为 A=UΣVT\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T，用于主成分分析（PCA）和推荐系统。

5. 张量基础

  • 定义：多维数组（如RGB图像为3维张量）。
  • 操作：重塑（reshape）、转置（transpose）、广播（broadcasting）。

代码示例（Python）

import numpy as np

# 向量与矩阵运算
v = np.array([1, 2, 3])
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])

print("矩阵乘法:", A @ B)  # 或 np.dot(A, B)
print("哈达玛积:", A * B)

关键公式

  • 矩阵乘法：(AB)ij=∑kAikBkj(AB)_{ij} = \sum_{k} A_{ik} B_{kj}
  • L2范数：∥v∥2=∑ivi2\|\mathbf{v}\|_2 = \sqrt{\sum_i v_i^2}

提示：深度学习中的梯度计算、权重更新均依赖线性代数运算，建议熟练掌握矩阵微分规则。

Last Updated::