摘要：1.为什么需要归一化？维基百科给出的解释：1）归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度。 1）加快梯度下降求解速度 斯坦福机器学习视频做了很好的解释：https://class.coursera.org/ml-003/lecture/21 如下图所示，蓝色的圈圈图代表的是两个特 阅读全文

摘要：首先，我们要清楚softmax函数一般是用来做多分类的。维基百科上给出如下定义： 直观理解就是元素的指数值 比上 所有元素指数值和！ 附上李宏毅教授PPT上的图更容易理解： 阅读全文

摘要：1.初始化权重矩阵为0 对于每个隐含层节点，输出的结果都是一样的。另外，进行梯度下降时，由于偏导一样，因此不断迭代，不断一样，不断迭代，不断一样..多层神经网络表现的跟线性模型一样，不可取！ 2.随机初始化权重矩阵 （1）标准正态分布 np.random.rand(size_l,size_l-1) 阅读全文