Xavier、kaiming分布

Xavier在tanh中表现的很好，但在Relu激活函数中表现的很差，所何凯明提出了针对于relu的初始化方法。pytorch默认使用kaiming正态分布初始化卷积层参数。

(1)kaiming均匀分布

U(−bound,bound)

(2)kaiming正态分布

N(0,std)


posted @ 2020-12-09 13:24  说分手后还能做炮友?  阅读(467)  评论(0)    收藏  举报