第一周 深度学习概论

1 深度学习概论

1.1 什么是神经网络？

先来看一个最简单的房屋价格预测的例子：

假设房屋的价格与面积有关，有一堆样本(size, price)，我们需要找到一个模型\(f(x)\)，输入房屋的面积，输出是价格。

图中蓝色的线即为拟合出来的函数，也称为Relu函数，也被称为修正线性单元，这里修正的是当\(x\leq x1\)，\(f(x)=0\)的那一部分。

上图右中画出来的就是一个神经元，我们可以把多个神经元堆叠在一起，组成一个复杂的神经网络。比如对预测房屋价格来说，其影响因素可能有面积、卧室数量、邮编、富裕程度，于是可以画出来这样的结构：

通过面积和卧室数量可以预测家庭成员，通过邮编可以预测步行化程度，通过邮编和富裕程度可以预测学校质量，进一步通过家庭成员、步行化程度、学校质量可以预测房屋价格。

可以画出来下面的网络结构：

左边是输入层，中间是隐藏层，邮编是输出层。神经网络并不关心隐藏层的具体函数，只要有足够多的样本\((X,Y)\)，就可以训练出来一个模型。通过模型，给定\(X\)，就可以映射到\(Y\)。神经网络最重要的工作就是训练模型，找到映射关系。

1.2 用神经网络进行监督学习

监督学习实际上就是会给训练数据打标签，针对每一条训练数据，我们都知道其正确的输出。监督学习要做得就是找到输入和输出之间的映射关系。

监督学习用于解决“回归”和“分类”问题。