TensorFlow入门4

激活函数activation function: relu, sigmoid, tanh

 NN复杂度：多用NN层数和NN参数的个数表示

层数：隐藏层的层数+一个输出层

总参数：总w+总b

损失函数（loss）：预测值（y）和已知答案（y_）的差距--优化目标：loss最小

均方误差mse：lose_mse = tf.reduce_mean(tf.square(y_-y))

自定义损失函数：loss = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_)*COST, (y_ - y)*PROFIT))

交叉熵：表明两个概率分布之间的距离

 

 

 学习率：每次参数更新的幅度

 

 学习率大了振荡不收敛，学习率小了收敛速度慢，因此提出指数衰减学习率

 

 滑动平均（影子值）：记录了每个参数一段时间内过往的平均值，增加了模型的泛化性
针对所有的参数：w和b

 

正则化缓解过拟合：正则化在损失函数中引入模型复杂度指标，利用给W加权值，弱化了数据的噪声

 

 搭建模块化的神经网络八股：

一、前向传播就是搭建网络，设计网络结构（forward.py）

 

 二、反向传播就是训练网络，优化网络参数（backward.py）