摘要：(目录) sigmoid 公式： \(f(x) = \frac{1}{1 + e^{-x}}\) 图像： Tanh 公式： \(f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}\) 图像： softplus 公式： \(f(x) = log(1+e^x)\) 图像： 阅读全文

摘要：BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分 阅读全文

摘要：常量初始化 把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定义 positive_unitball初始化 让每一个神经元的输入的权值和为 1，例如：一个神经元有100个输入，让这100个输入的权值和为1. 首先给这100个权值赋值为在（0，1）之间的均匀分布，然后，每一个权值再除以它们的和 阅读全文

摘要：将同样的一张图(101*156)，采用两种不同的方式进行缩放填充，带来的像素差异： 1.先填充后缩放 def resize_1(img): height, width, channel = img.shape temp = np.zeros((height,height,3),np.uint8) s 阅读全文