【吴恩达】【深度学习笔记】第一周

课程链接：https://mooc.study.163.com/course/2001281002?tid=2403023003&_trace_c_p_k2_=9f064a067aa1471e80dd4e13ba2321fb#/info

1.2节 什么是神经网络？

1. 神经元

神经元是神经网络的最小单位，下面以预测房屋价格为例，揭开神经元的真面目

Eg: 已知房屋面积(size of house)和房屋价格(price)，想要找到一个函数，根据房屋的面积预测房屋的价格

 

 

如果了解线性回归，很容易的就想出用这些数据来拟合一条直线(上图中的直线a)，但是呢，大家都知道，房价是不会为负的，所以直线不大合适，会让价格为负。因此对直线a进行修正，修正部分为b，当房屋面积小于一定值的时候，房价等于零。图中的蓝线(ab)即是我们所要求的函数，能够根据房屋面积，预测房价，这个拟合函数就可以看做是一个神经元，下图就是一个简单的神经网络，可以根据房屋面积(size) 预测房屋价格(price)

 

 

 神经网络的文献中经常会看到这个函数，就是Relu函数即修正线性单元，修正指的是取不小于0的值

2. 神经网络

复杂的神经网络是由多个神经元像堆积木一样堆叠而成，还是上面房价预测的例子，假如不仅仅是用房屋的面积来预测价格，现在还有一些其他的特征，比如卧室的数量，卧室的数量和卧室的大小可以决定能容纳的人数，邮编和富裕程度，其中邮编能反映出来步行化的程度(美国)，邮编和富裕程度能够反映出来周围学校的质量，这些特征和房屋的价格都是息息相关的。

 

下图就是独立的神经元叠加起来的神经网络：

 其中，x1, x2, x3, x4为输入特征，神经网络的工作就是预测出房屋的价格y, 箭头指的三个圈圈是隐藏单元，每个隐藏单元的输入都来自四个特征，也就是我们并不会告诉神经网络，可容纳人数和size bedrooms相关，我们只负责把特征输入进去，由神经网络自己学习。只要有足够的训练数据，神经网络能够精准的计算出从 x 到 y 的精准映射函数，我们只需要把 x 输入进去，就可以得到 y 的值。

1.3节  神经网络进行监督学习

1. 神经网络应用于监督学习

在监督学习中，输入x，学习一个函数，映射到输出y，比如1.2节中房价预测的例子，输入房屋的一些特征，就能预测房屋价格y，以下是几个监督学习的例子：

1） 在线广告，输入广告和用户信息，神经网络预测你会不会点击这个广告，从而决定这个广告是否对你展示。在这个方面，神经网络已经做的很好了

2）在图像识别领域，神经网络可以用来给图像打标签，输入x 是图像，输出是图像的标签

3）在语音识别领域也有很大的进展，输入音频，可以输出文本

4）机器翻译，输入一串英文，可以端到端的输出与之对应的中文

5）在无人驾驶技术中，输入一张汽车前方的快照，和一些雷达信息，能输出图片中其他汽车的位置

2. 结构化特征和非结构化特征

结构化数据指的是每个特征都有清晰的定义，比如在房价预测的例子中，房间面积，房间得数量等都是结构化特征，非结构化数据指的是像音频，图像，文字，这里面的特征是像素值或者一个单词，非结构化数据计算机理解起来相对比结构化数据更困难。和之前对比，神经网络能够更好的处理非结构化特征

1.4节  为什么深度学习会流行起来

 深度学习的理念在几十年前就已经有了，为什么现在才流行起来呢？主要三个影响因素：

1. 数据

随着社会的发展，数据量越来越大，当数据量越来越大的时候，深度学习表现的越来越好，在小数据集上深度学习和机器学习没有明确的区分哪个效果更好，最终的性能更多取决于手工设计组件和算法处理的一些细节

 

2. 计算能力

CPU GPU等硬件使计算机的计算能力加快

3. 算法创新

大部分的算法创新都是为了提升计算能力，比如由sigmoid函数到relu函数， relu函数计算梯度更简单，sigmoid函数会在头尾两部分梯度接近0，因此梯度更新会特别慢。