2018年1月8日
神经网络中的激活函数——加入一些非线性的激活函数，整个网络中就引入了非线性部分，sigmoid 和 tanh作为激活函数的话，一定要注意一定要对 input 进行归一话，但是 ReLU 并不需要输入归一化
摘要： 1 什么是激活函数？ 激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。 目前知道的激活函数有如下几个：sigmoid,tanh，ReLu,softmax。 simoid函数也称S曲线：f 阅读全文
posted @ 2018-01-08 14:56 bonelee 阅读(4207) 评论(0) 推荐(0)
CNN中的局部连接(Sparse Connectivity)和权值共享
摘要： 局部连接与权值共享 下图是一个很经典的图示，左边是全连接，右边是局部连接。 对于一个1000 × 1000的输入图像而言，如果下一个隐藏层的神经元数目为10^6个，采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数，如此数目巨大的参数几乎难以训练；而采用局部连接，隐藏层的每 阅读全文
posted @ 2018-01-08 12:12 bonelee 阅读(24147) 评论(0) 推荐(2)
AdaBoostClassifier实战
摘要： AdaBoostClassifier实战 部分内容摘自：http://blog.csdn.net/sun_shengyun/article/details/54289955 这里我们用一个具体的例子来讲解AdaBoostClassifier的使用。 Methods 首先我们载入需要的类库： 接着我们 阅读全文
posted @ 2018-01-08 11:27 bonelee 阅读(3413) 评论(0) 推荐(0)