42个激活函数的全面总结

2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。

例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。

如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。