SILU函数

该激活函数的公式如下:
f(x)=x*sigmoid(x)
具体实现代码如下:

` class SiLU(Layer):
def init(self, kwargs):
super(SiLU, self).init(
kwargs)
self.supports_masking = True

def call(self, inputs):
return inputs * K.sigmoid(inputs)

def get_config(self):
config = super(SiLU, self).get_config()
return config

def compute_output_shape(self, input_shape):
return input_shape `

函数具体形状如下:

posted @ 2022-05-23 15:34  vegetable_chick  阅读(3615)  评论(0)    收藏  举报