深度学习理论

前段时间，跟部门同事分享了深度学习相关的一些理论基础，在此记录一下。仅供后续学习和复习。

1、背景及现状

2、Embeding

3、DNN

4、CNN

5、RNN（LSTM）

6、应用（结合自身的应用案例）

（1）情感分析/类目预测（文本分类）

（2）NER/POS TAGGING （标注、命名实体识别）

（3）流量预测

（4）CTR预估

7、总结与挑战

一、背景与现状

上图基本说明深度学习的发展历史，简要说明如下：

1、MCP人工神经元模型，但是还是比较简单的单层感知机的形式，改模型被证明是一种线性模型，只能解决线性问题，就连最简单的异或都无法正确分类。于是迎来了神经网络的第一次低谷。
2、到了1986年，由于BP算法的发明，人们提出了多层的神经网络，当时被证明是可以逼近任何一个连续的函数。(包括非线性问题)。那个时候比较有代表性的是BP神经网络；然而当时提出的网络缺乏理论支持，并且又被指出BP反向传播算法存在梯度消失的情况，又一次让深度学习陷入谷底。
3、2012年，再一次ImageNet图像识别比赛中，Hinton团队采用了CNN构建的AlexNet网络，直接碾压第二名，获得比赛冠军。当时AlexNet的创新点是：（1）采用ReLU激活函数，能够解决梯度消失的问题。（2）采用GPU对计算进行加速（3）添加了DropOut层减少过拟合，增强泛化能力。

二、Embeding

（1）Word2Vec

该方法是一个三层的神经网络，分别利用CBOW（利用上下文预测当前单词）和Skip-Gram（利用当前单词预测上下文）两种方式进行训练。

CBOW:

Skip-Gram：

这里需要注意的是，

　　1）三层的神经网络结构。其中输出层为了减少算法的复杂度，采用Huffman编码树的形式进行编码输出。即输出一颗树型结构。

　　2）训练过程中，实际是需要两次遍历预料，第一次遍历构建输出的Huffman树和字典，第二次遍历进行训练。

（2）Paragraph2Vec、Doc2vec

　　该方法类似word2vec，只是在训练的过程中，增加了paragraph vector（段落向量）

（3）Glove

　　该方法用的是词的共现矩阵通过矩阵分解得到全局的信息，并且得到每个词对应的全局词向量，

　　再根据CBOW的思想（利用上下文预测当前单词的概率，这里的概率就是共现矩阵中共现概率比值）进行优化全局词向量，进而得到最优的词向量。

三、DNN

1、神经网络的思想源于生物医学上的感知器，启用计算机模拟如下：

，

典型的DNN模型如下所示：

前向输入后向传播：

这里主要讲解一下训练过程中是如何训练的，参数是如何更新迭代的，这里采用一个例子进行说明：

假如有这样一个网络：

第一层是输入，第二层是隐藏层，第三层是输出层。

（1）前向运算：

　　1）第二层输出，如下所示：

　　2）第三层输出：

则一般通用公式如下：

　　，

反向传播（BP算法）：（这里需要理解为何需要反向传播？主要是为了更新网络参数）

我们知道前向传播的算是函数如下：

，进一步展开得到如下：

对损失函数求导可得：

我们假设：，则导数可以变换成如下所示：

我没来看看对应的

则有：，即

得到了梯度之后，我们即可得到每层的权重更新的方法。

四、CNN

　　首先来看一下CNN的网络结构及特性：（1）局部感知，（2）权值共享。从整体上，采用通信里面的知识理解CNN，本质是一个滤波器，只是该滤波器是通过卷积的方式进行滤波。这里需要注意的地方是，卷积层的输出神经元个数分别维护一个卷积算子的权重。每个输出的神经元可以理解成就是一个滤波器，多少个神经元就有多少个滤波器。（在分享时，发现很多人这里不是很理解。。。）