第2章：概率论与随机过程基础

2.1 概率分布与密度函数

2.1.1 基本概念与定义

概率分布是描述随机变量取值规律的数学函数，分为：

  • 离散型分布：概率质量函数（PMF）描述

    P(X=xi)=piP(X=x_i) = p_i

  • 连续型分布：概率密度函数（PDF）描述

    P(a≤X≤b)=∫abf(x)dxP(a \leq X \leq b) = \int_a^b f(x)dx

关键性质：

  1. 非负性：$ f(x) \geq 0 $
  2. 归一性：$ \sum p_i = 1 $ 或 $ \int_{-\infty}^{\infty} f(x)dx = 1 $

2.1.2 重要概率分布族

分布类型公式/参数应用场景
高斯分布$ \mathcal{N}(\mu,\sigma^2) $扩散模型噪声过程
伯努利分布$ P(X=1)=p $二值数据生成
均匀分布$ U(a,b) $初始化、采样基准

2.1.3 扩散模型中的核心分布

  1. 各向同性高斯分布：

    q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})

    • βt\beta_t：噪声调度参数
    • I\mathbf{I}：单位矩阵

  2. 多变量分布的性质：

    • 协方差矩阵对角化假设
    • 独立同分布噪声的分解特性

2.1.4 案例分析：图像噪声的分布特性

import numpy as np
import matplotlib.pyplot as plt

# 生成高斯噪声示例
def gaussian_noise(image, std=0.1):
    noise = np.random.normal(0, std, image.shape)
    return np.clip(image + noise, 0, 1)

# 可视化不同噪声水平
clean_img = np.zeros((100,100))
noisy_imgs = [gaussian_noise(clean_img, std) for std in [0.05, 0.2, 0.5]]

plt.figure(figsize=(12,4))
for i, img in enumerate(noisy_imgs):
    plt.subplot(1,3,i+1)
    plt.imshow(img, cmap='gray')
    plt.title(f"σ={[0.05,0.2,0.5][i]}")
plt.show()

2.1.5 理论推导：KL散度计算

对于两个高斯分布q=N(μ1,Σ1)q=\mathcal{N}(\mu_1,\Sigma_1)和p=N(μ2,Σ2)p=\mathcal{N}(\mu_2,\Sigma_2)：

DKL(q∣∣p)=12[log⁡∣Σ2∣∣Σ1∣−d+tr(Σ2−1Σ1)+(μ2−μ1)TΣ2−1(μ2−μ1)]D_{KL}(q||p) = \frac{1}{2}\left[ \log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr}(\Sigma_2^{-1}\Sigma_1) + (\mu_2-\mu_1)^T\Sigma_2^{-1}(\mu_2-\mu_1) \right]

其中dd为维度数。该公式在扩散模型ELBO推导中起关键作用。

图示说明

图2.1：高斯分布、均匀分布和Beta分布的概率密度函数对比

关键点总结：

  1. 扩散模型主要依赖高斯分布族进行噪声建模
  2. 概率密度函数的对数形式在分数匹配中起核心作用
  3. 分布的可分解性影响模型并行化效率
Last Updated::