摘要： 一、感知机 1.模型和图像： 2.数学定义推导和优化： 3.流程 4.参考资料 https://blog.csdn.net/wodeai1235/article/details/54755735 二、线性回归 1.定义及解析解： a=(XTX) -1 XTy，如加2范数约束则解析解为a=(XTX+λ 阅读全文

摘要： 一、sigmod 1.函数与图像：[0,1] 2.优缺点： 优点：输出映射在[0,1]之间；求导容易；无限阶可导。 缺点：容易产生梯度消失的问题，因为小于1的数累乘会接近0；输出不是以0为中心，输出都是正或负，会导致网络的学习能力受限。（这个特性会导致在后面神经网络的高层处理中收到不是零中心的数据。 阅读全文