摘要：
He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法，动机同Xaviar初始化基本一致，都是为了保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等。 关于参数的大部分假设同Xaviar初始化一致，但是，He初始化对应的是非线性激活函数（Relu 和 Prelu）， 阅读全文
posted @ 2022-08-18 12:11
Tomorrow1126
阅读(313)
评论(0)
推荐(0)
摘要：
先用def来定义函数，代码如下 def sq(x): return x*x map(sq,[y for y in range(10)]) 再用lambda函数来编写代码 map(lambda x: x*x,[y for y in range(10)]) 用lambda函数首先减少了代码的冗余，其次， 阅读全文
posted @ 2022-08-18 12:07
Tomorrow1126
阅读(23)
评论(0)
推荐(0)
摘要：
softplus: softplus(x) = log(exp(x) + 1) 许多激活函数之一是Softplus函数，其定义为。 阅读全文
posted @ 2022-08-18 12:04
Tomorrow1126
阅读(655)
评论(0)
推荐(0)
浙公网安备 33010602011771号