第一次学习

1. 视频学习

1.1 绪论部分

• 人工智能部分从应用、起源、发展，一直到三个层面：计算智能、感知智能、认知智能；

• 机器学习部分主要是三要素：模型、策略、算法。讲解了监督学习、无监督学习、半监督学习和强化学习相关的概念以及区别。

• 深度学习部分主要是从历史进程角度入手，讲解了深度学习遇到的危机。从感知器到BP算法的应用解决了Xor问题。再然后是CNN。03年以后，神经网络改名为深度学习。还有GPU在深度学习中被广泛应用。

• 之后是深度学习“不能”
  

• 最后简单介绍了符号主义和连接主义。

1.2 神经网络基础部分：

• 先讲解了神经元与神经网络的类比。从而引出激活函数，主要是Sigmoid函数和ReLU函数。

• 从单层感知器解决简单的逻辑与或非到多层感知器实现同或门等。

• 神经网络中误差的反向传播和梯度的概念。以及梯度下降的方法。

• 在反向传播中存在梯度消失的问题，从而使神经网络深度增加变得比较困难。还有局部极值的现象，也使神经网络面临了巨大危机。

• 逐层预训练的方法使梯度消失和局部极值问题得到了比较好的解决。

• 比较难的是逐层预训练常用的两种方法：自编码器和受限玻尔兹曼机

1. 自编码器:

2. 受限玻尔兹曼机

• Hinton证明了如果是标准的玻尔兹曼分布，经过推导后，条件概率就是sigmoid函数。

2. 代码练习

2.1 pytorch基础

• 基础部分主要是学习了torch中张量的建立和相关的运算。

• 碰到的问题是

• 通过在v中指定类型解决了此问题

2.2 螺旋数据分类

• 该部分通过公式，建立了三类螺旋点，并用线性模型和两层神经网络分别进行了分类。

• 可以明显的看到，在采用两层神经网络加入ReLU后，效果得到了显著的提升

• 另外，关于其中提到的种子实现复现的作用，我感到比较困惑，并不是很理解。

3. 总结

• 本次主要是对一些基础知识的学习，相比较来说较为简单。在敲代码的过程中，还是会遇到一些问题，但通过解决问题，也能使自己收获许多的知识。