深度学习引言

简单的机器学习算法的性能在很大程度上依赖于给定数据的表示，表示的选择会对机器学习算法产生巨大的影响

但是特征的选择或者如何进行表示较为困难，因此一种想法就是使用机器学习本身来发掘表示本身，而不仅仅把表示映射到输出
将这种方法称之为表示学习

表示学习算法的典型例子是自编码器，编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换到原来的形式

深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题，深度学习是一种表示学习，也是一种机器学习
深度学习将输入展示在可见层，然后是一系列用来提取抽象特征的隐藏层，可以认为不同数学函数的每一次应用都为输入提供了新的表示

因为一般隐藏层层数越多特征的提取效果也就越好，于是模型深度是深度学习的一个重要参数

目前主要有两种度量模型深度的方式，一种是基于评估架构所需执行的顺序指令的数目，将模型表示为给定输入后，计算对应输出的流程图，则可以将这张流程图中最长路径视为模型的深度；另一种是在深度概率模型中使用的方法，不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度

联结主义的中心思想是当网络将大量简单的计算单元连接在一起时可以实现智能行为，同时，联结主义使得反向传播算法得到普及，反向传播在训练具有内部表示的深度神经网络时有较好的效果

分布式表示的思想是系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示

长短期记忆网络的引入主要用来解决序列建模上的问题