人工智能学习——第七课：Tensorflow学习——逻辑回归与交叉熵

一、概念

1、逻辑回归（分布函数）与平方差函数对比

给出二元分类问题，一层一层向下映射，回答是“是”或者“否”；

Sigmoid函数：输出值0-1之间概率值，概率值小于0.5负面回答，大于0.5正面回答；

 上一节提到平方差损失函数“MSE”刻画损失，不恰当，从0-1概率刻画损失，

例如：神经网络判断猫还是狗，真实值为1（狗），神经网络给出值为0.3，平方差函数刻画损失即1-0.3=0.7，平方差所惩罚的是与损失为同一个数量级的情形（真实非常大10000，损失值0.5，差距较大，迭代次数多，训练非常慢，所以不适用分类问题）；

2、逻辑回归函数——交叉熵（）

交叉熵会输出一个更大的损失；

概念：交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，假设概率分布p为期望输出，概率分布q为实际输出，H（p,q）为交叉熵：

 交叉熵越接近x=0，放大两种概率（p,q）之间的损失值H（p,q）,损失曲线logistic的损失值H（p,q）