概率与统计基础

1. 概率论基础概念

1.1 随机变量与概率分布

  • 随机变量：描述随机现象的数学对象（离散型/连续型）
  • 常见分布：
    • 离散：伯努利分布、二项分布、泊松分布
    • 连续：均匀分布、正态分布（高斯分布）、指数分布

1.2 条件概率与贝叶斯定理

  • 条件概率公式：P(A∣B)=P(A∩B)P(B)P(A|B) = \frac{P(A \cap B)}{P(B)}
  • 贝叶斯定理：P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}

2. 统计量及其意义

2.1 描述性统计

统计量计算公式意义
均值（μ）1n∑xi\frac{1}{n}\sum x_i数据集中趋势
方差（σ²）1n∑(xi−μ)2\frac{1}{n}\sum(x_i-μ)^2数据离散程度
协方差Cov(X,Y)=E[(X−μX)(Y−μY)]\text{Cov}(X,Y)=E[(X-μ_X)(Y-μ_Y)]变量线性相关性

2.2 最大似然估计（MLE）

  • 核心思想：选择使观测数据出现概率最大的参数
  • 对数似然函数：L(θ)=log⁡P(X∣θ)\mathcal{L}(θ) = \log P(X|θ)

3. 深度学习中的关键概率概念

3.1 信息论基础

  • 熵：H(X)=−∑p(x)log⁡p(x)H(X) = -\sum p(x)\log p(x)
  • KL散度：衡量两个分布的差异
  • 交叉熵：常用作分类任务的损失函数

3.2 蒙特卡洛方法

  • 通过随机采样近似计算复杂积分/期望
  • 在强化学习（策略评估）和贝叶斯推断中广泛应用

4. 统计假设检验

4.1 常用检验方法

  • t检验（均值差异）
  • χ²检验（分布拟合）
  • F检验（方差分析）

4.2 p值与置信区间

  • p值<0.05通常认为统计显著
  • 95%置信区间的正确解读

5. 实战应用示例

# 正态分布采样与可视化
import numpy as np
import matplotlib.pyplot as plt

mu, sigma = 0, 0.1
s = np.random.normal(mu, sigma, 1000)
plt.hist(s, bins=30, density=True)
plt.show()

关键公式速查表

概念公式
正态分布PDF12πσ2e−(x−μ)22σ2\frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}}
伯努利分布pk(1−p)1−kp^k(1-p)^{1-k}
交叉熵损失−∑yilog⁡(pi)-\sum y_i \log(p_i)

深度学习关联提示：概率统计是理解以下内容的基础：

  • 损失函数的概率解释（如交叉熵）
  • 贝叶斯神经网络
  • Dropout的正则化概率视角 变分自编码器（VAE）中的变分推断
Last Updated::