【深度学习】|01复旦大学邱锡鹏《神经网络与深度学习》学习小笔记（二）线性模型

逻辑回归；

感知机；

损失函数；

逻辑回归

1.表达式：（δ为logistic函数）

 2.交叉熵：

交叉熵是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度。

如果 p和 𝑞 越接近，交叉熵越小；

 3.KL散度

KL散度是用概率分布q来近似p时所造成的信息损失量。

 

 4.数据中（因为真实分布概率为1，所以用示性函数）

5.交叉熵的梯度表达式

【多元】

这里的交叉熵有N个类别，每个类别对应的是一个概率，因为前面有负号所以导数就省略了。

 

得到

 

 

 【二元】δ是logistic函数，导数为δ(1-δ)

 

 

 

 

---

感知机

 

 分错样本时：

 

 这时候对w求导，梯度就是xy，所以权重更新为：

 

 反推损失函数为：

 只要线性可分，感知机就可以收敛。

---

 

总结：

 

 

---

 不同的损失函数：

LR损失就是交叉熵损失

 

 

 

---

 

感知机的衍生问题---XOR问题【异或——非线性可分】