TensorFlow（实战深度学习框架）----深层神经网络（第四章）

     深层神经网络可以解决部分浅层神经网络解决不了的问题。

     神经网络的优化目标-----损失函数

     深度学习：一类通过多层非线性变化对高复杂性数据建模算法的合集。（两个重要的特性：多层和非线性）

     线性模型的最大特点：任意线性模型的组合仍然是线性模型。（任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别）

     激活函数实现去线性化：ReLU函数  sigmoid函数  tanh函数 （增加偏置项） ，TensorFlow支持7中不同的非线性激活函数

     感知机：单层的神经网络，无法模拟异或运算。加入隐藏层之后，异或问题可以得到很好的解决。

    监督学习两大类：分类和回归

   判断输出向量和期望的向量的接近程度：交叉熵（cross entropy）

   softmax层可以将神经网络前向传播得到的结果变为概率分布。

  神经网络优化算法：反向传播算法（以高效的方式在所有参数上，使得网络模型在训练数据上的损失函数尽可能小）和梯度下降速算法（优化单个参数的取值）

  学习率：梯度下降算每次参数移动的幅度，设置学习率控制参数更新的速度。----TensorFlow：指数衰减法来设置学习率：先使用较大的学习率来快读得到一个比较优的解，然后随着迭代的继续逐步减少学习率。

综合梯度下降算法和随机梯度下降算法：每次计算一小部分的训练数据的损失函数，称之为一个batch；

过拟合：当一个模型过为复杂时，它可以很好地记忆每一个训练数据中的随机噪音部分而忘了去学习训练数据中通用的趋势。

避免过拟合问题：正则化（在损失含中加入刻画模型复杂程度的指标）：L1正则化 ，L2正则化。

滑动平均模型：使得模型在测试申诉局身上更健壮。