2020年7月29日
激活函数中的硬饱和、软饱和、左饱和、右饱和以及特性
摘要： 假设h(x)是一个激活函数，对于其导数而言，当x趋近于正无穷时，函数的导数趋近于零，我们称其为右饱和；同理，当x趋近于负无穷时，函数的导数趋近于零，称其为左饱和。若一个函数既满足左饱和又满足右饱和，则该函数为饱和，典型的有sigmoid、Tanh函数。 硬饱和： 对于任意的x。若存在常数c，当x>c 阅读全文
posted @ 2020-07-29 20:56 博欧沥干Booligan 阅读(2527) 评论(0) 推荐(1)