《神经网络与深度学习》 第一章 绪论

深度学习：机器学习的一个分支，指一类问题以及解决这类问题的方法。
作为一个机器学习问题，深度学习从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上。深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件 ( component )。

贡献度分配问题：每个组件都会对信息进行加工，并进而影响后续的组件，当最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少。

人工神经网络：一种可以比较好解决贡献度分配问题的模型。是由人工神经元以及神经元之间的连接构成，其中有两类特殊的神经元：一类用来接收外部的信息，另一类用来输出信息。这样，神经网络可以看作信息从输入到输出的信息处理系统。
神经网络的参数可以通过机器学习的方式来从数据中学习，复杂神经网络的学习可以看成是深度学习。

1.1 人工智能

人工智能的简要介绍（略）

1.2 机器学习

传统的机器学习主要关注构建预测函数，可以看作浅层学习，一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。

在实际任务中使用机器学习模型：

不同预测模型的性能相差不多，而前三步中的特征处理对最终系统的准确性有着十分关键的作用。特征处理一般都需要人工干预完成，利用人类的经验来选取好的特征，并最终提高机器学习系统的性能。因此，很多的机器学习问题变成了特征工程 ( Feature Engineering ) 问题。开发一个机器学习系统的主要工作量消耗在了预处理、特征提取以及特征转换上。

1.3 表示学习

表示学习：可以自动地学习出有效的特征，并提高最终机器学习模型的性能的一种学习，关键是解决语义鸿沟问题，构建具有一定深度的多层次特征表示。两个核心问题： “什么是一个好的表示”、“如何学习到好的表示”。

表示方式：局部表示、分布式表示

• 局部表示 通常表示为 one-hot 向量的形式。
  优点：
  (1)具有很好的解释性，有利于人工归纳好总结特征，并通过特征组合进行高效的特征工程。
  (2)通过多种特征组合得到的表示向量通常是稀疏的二值向量，当用于线性模型时计算效率非常高。
  缺点：不可扩展；不同表示之间的相似度都为0。
• 分布式表示 通常表示为低维的稠密向量。表示能力要强很多，向量维度一般都比较低。
  嵌入：使用神经网络来将高维的局部表示空间ℝ^|𝒱| 映射到一个非常低维的分布式表示空间 ℝ^𝐷, 𝐷 ≪ |𝒱|。在这个低维空间中，每个特征不再是坐标轴上的点，而是分散在整个低维空间中。
  
  

1.4 深度学习

深度学习：机器学习的一个子问题，主要目的是从数据中自动学习到有效的特征表示，关键需要解决贡献度问题。可以看作一种强化学习且有一定的延时性。深度是指原始数据进行非线性特征转换的次数。
因为按照传统机器学习方法，将一个任务的输入和输出之间人为地切割成很多子模块会存在模块与整体目标不一致、错误传播的问题，所以端到端学习在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标和深度学习一样， 都是要解决贡献度分配问题。目前，大部分采用神经网络模型的深度学习也可以看作一种端到端的学习。

1.5 神经网络

在人脑神经网络的研究中，赫布理论 ( Hebbian Theory ) 指当神经元 A 的一个轴突和神经元 B 很近，足以对它产生影响，并且持续地、重复地参与了对神经元 B 的兴奋，那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化，以致神经元 A 作为能使神经元B兴奋的细胞之一，它的效能加强了。由此，如果两个神经元总是相关联地受到刺激，它们之间的突触强度增加，这样的学习方法被称为赫布型学习 ( Hebbian learning )。


人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成， 可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）。
从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。

首个可学习的人工神经网络是赫布网络，采用一种基于赫布规则的无监督学习方法。
感知器是最早的具有机器学习思想的神经网络，但其学习方法无法扩展
到多层的神经网络上。
1980 年左右，反向传播算法有效地解决了多层神经网络的学习问题，并成为最为流行的神经网络学习算法。

1.6 本书的知识体系

1.7 常用的深度学习框架

比较有代表性的框架包括：Theano、Caffe、TensorFlow、Pytorch、飞桨 ( PaddlePaddle ) 、Chainer 和 MXNet 等。