损失函数

前向传播 反向传播和梯度

前向传播

w 为权重矩阵，x为输入的特征矩阵，b为偏置
α = w * x + b

前项传播算法的核心就是一轮一轮运算往下，把输入计算为输出

---

损失函数

模型的训练过程就是追求损失函数最小的过程
在求函数最小值时，我们会采用梯度下降算法迭代求解损失最小值

• 损失即为我们得到的结果和预期的差值
• 学习率：也叫学习步长，含义为变量在梯度上移动的距离（0.001~0.1）

常见损失函数

• 均方根误差（mean_squared_error）--- 回归问题常用
  

• 平均绝对误差（absolute_difference） --- 着重离群样本的健壮性

• 交叉熵函数 ---分类问题
  

• softmax_cross_entropy_with_logits :

  • 先求softmax再求交叉熵，多分类问题首选