激活函数使用了非线性的sigmoid函数的感知机,可以表示任意函数
图2-7中的○和△无法用一条直线分开,但是如果将“直线”这个限制条件去掉,就可以实现了。比如,我们可以像图2-8那样,作出分开○和△的空间。
感知机的局限性就在于它只能表示由一条直线分割的空间。图2-8这样弯曲的曲线无法用感知机表示。另外,由图2-8这样的曲线分割而成的空间称为非线性空间,由直线分割而成的空间称为线性空间。线性、非线性这两个术语在机器学习领域很常见,可以将其想象成图2-6和图2-8所示的直线和曲线。

感知机不能表示异或门让人深感遗憾,但也无需悲观。实际上,感知机
的绝妙之处在于它可以“叠加层”(通过叠加层来表示异或门是本节的要点)。
理论上可以说2层感知机就能构建计算机。这是因为,已有研究证明,2层感知机(严格地说是激活函数使用了非线性的sigmoid函数的感知机,可以表示任意函数。
感知机通过叠加层能够进行非线性的表示,理论上还可以表示计算机进行的处理。
Reference
[1] 深度学习入门 : 基于Python的理论与实现 / (日) 斋藤康毅著 ; 陆宇杰译. -- 北京 : 人民邮电出版社, 2018.7 p30
浙公网安备 33010602011771号