深度学习的历史与里程碑

1. 早期萌芽（1940s-1960s）

• 1943年：McCulloch & Pitts提出首个神经元数学模型（M-P模型）
• 1958年：Frank Rosenblatt发明感知机（Perceptron），成为现代神经网络雏形
• 1969年：Minsky & Papert出版《Perceptrons》，指出单层感知机的局限性（无法解决异或问题），导致第一次AI寒冬

2. 反向传播革命（1980s）

• 1986年：Rumelhart、Hinton和Williams发表反向传播算法（Backpropagation），使多层神经网络训练成为可能
• 1989年：LeCun开发卷积神经网络（CNN）早期版本并成功应用于手写数字识别

3. 蛰伏与突破（1990s-2000s）

• 1997年：Hochreiter & Schmidhuber提出LSTM网络，解决RNN长期依赖问题
• 1998年：LeCun发布LeNet-5（首个成功商用的CNN架构，用于支票识别）
• 2006年：Hinton提出"深度学习"概念，发表深度信念网络（DBN）的逐层训练方法

4. 深度学习爆发（2010s）

• 2012年：AlexNet在ImageNet竞赛中夺冠（Top-5错误率15.3%，比传统方法降低10%+），开启CNN黄金时代
• 2014年：里程碑式进展集中爆发：
  • Goodfellow提出生成对抗网络（GAN）
  • Google发布Seq2Seq模型
  • VGGNet和ResNet相继问世
• 2015年：AlphaGo击败人类职业棋手，展示深度强化学习威力

5. Transformer时代（2017至今）

• 2017年：Google提出Transformer架构（《Attention Is All You Need》）
• 2018年：
  • Google发布BERT（双向Transformer）
  • OpenAI推出GPT-1
• 2020年：GPT-3展现1750亿参数模型的惊人能力
• 2022年：Stable Diffusion等扩散模型引发AIGC革命

关键里程碑图示

timeline
    title 深度学习发展时间轴
    1943 : M-P模型
    1958 : 感知机
    1986 : 反向传播
    1997 : LSTM
    2012 : AlexNet
    2014 : GAN
    2017 : Transformer
    2020 : GPT-3

当前研究热点（2023）

1. 多模态大模型（如GPT-4V）
2. 神经辐射场（NeRF）等3D生成技术
3. 生物神经网络启发的新架构
4. 绿色AI与高效训练方法

学术趣闻：2012年AlexNet团队使用GPU训练时，因显存不足将网络拆分为两块GPU处理，意外成为模型并行计算的早期实践案例。