统计学习发展史

• 基于规则（谓词逻辑）
• 基于统计（蒙特卡洛搜索和强化学习）
• 多层感知机（ResNet）
• 预训练模型（BERT）
• 预训练【无监督】 加 微调【先验知识】 加 后训练【强化学习】（DeepSeek思维链；思考思考本身）

神经网络发展史
1940年左右，一个神经学家和一个数学家发明了历史上第一个神经网络模型
1960年左右，一个计算机科学家发明了两层神经网络（感知机，输入层隐藏层输出层），包括梯度下降算法（2层），损失函数和SGD优化器
1970年左右，名斯基证明感知机是个线性模型，无法处理异或

1986年，辛顿引入sigmoid，解决了线性不可分。提出了BP算法（前向传播和反向传播）（多层感知机，输入层多个隐藏层输出层）
1989年，万能近似定理：输入是一个n维向量，输出是一个m维向量，有一个隐藏层有足够的神经元就能拟合这个映射，即使这个映射不是线性的
1991年，发现多层神经网络有梯度消失和梯度爆炸问题，算力不足无法解决。被svm（可解释性和更好的结果）暴打

2012年，算力的提高加上梯度问题的减缓（relu激活函数），发现神经网络的巨大潜力。层数很深的神经网络（mlp，cnnrnn，transformer）