摘要：激活函数Relu 最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数。Relu函数的定义 $$f(x)= max(0,x)$$ Relu函数图像如下图所示： ![此处输入图片的描述][1] CNN示例 ![此处输入图片的描述][2] 上图是一个CNN的示意图 阅读全文

摘要：参考文章： https://www.zybuluo.com/hanbingtao/note/476663 https://www.zybuluo.com/hanbingtao/note/448086 代码剖析 定义激活sigmoid激活函数的定义： ![此处输入图片的描述][1] [1]: http 阅读全文