2021年1月8日
另辟新径：用数学极限推导神经网络中的激活函数
摘要： 一、数学先验知识： 二、激活函数推导 a)、Relu b)、Leaky Relu Leaky ReLU只是对ReLU的x负半轴部分添加一个很小的斜率，规避神经元死完这个问题 c)、ELU 用公式(1-1)中e^x-1代替Leaky Relu 中x<0时的x，则有 d)、其他激活函数[1] 对这个式子 阅读全文
posted @ 2021-01-08 21:28 勇者归来 阅读(513) 评论(0) 推荐(0) 编辑