摘要：SiLU（Swish）（YOLOv5 6.0之后） β = 1就是SiLU 优点：ReLU有无上界和有下界的特点，而Swish相比ReLU又增加了平滑和非单调的特点，这使得其在ImageNet上的效果更好。 缺点：引入了指数函数，增加了计算量. 阅读全文

摘要：前言 人们对激活函数都在不断探究，而现在广泛应用的激活函数通常是relu，tanh这两种 但是relu在负值的时候直接截断 梯度下降的不够平滑 因而有团队提出一种新的激活函数来进行优化 Mish激活函数 Mish激活函数的表达式为 Mish = x*tanh(ln(1+e^x)) 使用matplot 阅读全文

摘要： 阅读全文