机器学习中的线性和非线性判断

机器学习中的线性和非线性判断

说到线性和非线性,你的直观理解是不是这样:

enter image description here

但这种直观理解其实不能回答下面这个问题: 
那么为什么卷积操作是线性的,而ReLU是非线性的?

很多人对线性的定义不是很清楚。 
实际上,线性的定义是: 
F(ax+y) = aF(x) + F(y), 
其中x、y为变量而a为常数。

卷积操作满足上面的式子,所以是线性操作。

下面可以快速判断是为非线性的三种常见情况:

  • (变量)^n,且n不为1
  • |变量| 有变量在绝对值內的为非线性
  • sgn(变量) 有变量在符号函数之内

而ReLU如下所示:

enter image description here

所以,很明显ReLU是非线性的。

posted on 2018-04-24 17:05  Maddock  阅读(1643)  评论(0编辑  收藏  举报

导航