第2章：数学与计算基础

概率与统计基础

1. 概率论核心概念

  • 随机变量：定义离散型与连续型随机变量，举例说明（如掷骰子、温度测量）
  • 概率分布：
    • 离散分布：伯努利分布、二项分布、泊松分布
    • 连续分布：正态分布、均匀分布、指数分布
  • 条件概率与贝叶斯定理：公式推导及医学诊断案例

2. 统计推断基础

  • 描述性统计：
    • 集中趋势：均值、中位数、众数
    • 离散程度：方差、标准差、四分位距
  • 统计估计：
    • 最大似然估计（MLE）推导示例
    • 贝叶斯估计与先验分布选择

3. 深度学习中的关键统计工具

  • 信息论基础：
    • 熵、交叉熵、KL散度的定义与计算
    • 在分类任务损失函数中的应用（如交叉熵损失）
  • 假设检验：
    • p值与置信区间解读
    • 模型性能显著性检验方法（如t-test）

4. 概率图模型简介

  • 贝叶斯网络与马尔可夫随机场的结构表示
  • 隐马尔可夫模型（HMM）在时序数据中的应用

5. 实战代码示例

# 正态分布采样与可视化
import numpy as np
import matplotlib.pyplot as plt
mu, sigma = 0, 0.1
samples = np.random.normal(mu, sigma, 1000)
plt.hist(samples, bins=30, density=True)
plt.title("Normal Distribution Sampling")
plt.show()

6. 常见面试问题

  • 如何理解贝叶斯定理与频率学派的区别？
  • 交叉熵为什么比MSE更适合分类任务？
  • 解释KL散度的非对称性及其意义

关键点总结：概率论为神经网络中的不确定性建模提供理论基础，统计方法是模型评估与优化的核心工具。掌握这些概念对理解Dropout、贝叶斯神经网络等高级技术至关重要。


注：此内容设计特点：
1. 理论-应用-代码三结合
2. 突出与深度学习的关联性
3. 包含面试导向的思考题
4. 使用Latex风格公式（实际使用时需渲染）如$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$
Last Updated::