李燕

摘要： Θ应初始化为什么值当我们是用logistic regression算法时，将θ初始化为0是可以的；但是如果在神经网络里面，将θ初始化为0是不可行的若将Θ初始化为0的后果-the problem ofsymmetry ways当Θ初始化为0后,蓝色线上的两个weights是相等的，红色线上的两个wei... 阅读全文

摘要： 我们在进行back propagation时难免会出现各种各样的问题，当出现问题的时候，我们的cost function仍然是随着迭代的次数下降的，但是这中间会有一些问题存在，那么我们如何来检查我们的算法是否会出现这些不易被发现的问题呢？gradients的近似表达上面是导数的近似表达式，取左边的双... 阅读全文

摘要： 我们需要将parameters从矩阵unrolling到向量，这样我们就可以使用adanced optimization routines.unroll into vectorscostFunction与fminunc里面的theta都是n+1维的向量，costFunction的返回值gradien... 阅读全文

摘要： 为了更好的理解backpropagation，先来了解一下forward propagation的内部我们在forward propagation中计算Z1(3)的方法与在back propagation的方法类似，不同的是，forward是从左算到右，back是从右计算到左。Back propag... 阅读全文

摘要： Backpropagation algorithm(反向传播算法)Θij(l) is a real number.Forward propagation上图是给出一个training example(x,y),是怎么进行forward propagation的.Backpropagation alg... 阅读全文

摘要： 两种分类问题: binary & multi-class下面的是两种类型的分类问题(一种是binary classification,一种是multi-class classification)如果是binary classification的分类问题，则output layer只有一个结点（1 o... 阅读全文

摘要： 上次提到的手写数字的识别就是一个多分类的问题，有10种不同的分类(0-9)。在神经网络中我们所做的多分类问题是the one VS all方法的延伸，让我们看一个computer vision的例子，在这个例子中，我们要对图片进行4个分类:步行，car,摩托车，火车。我们建立的这个神经系统，它有4个... 阅读全文

摘要： 如何实现逻辑非(negation)上次我们实现了逻辑与与逻辑或运算，现在来看看逻辑非运算的实现如左上图所示，我们只有一个x1输入，还有一个bias unit(+1),如果我们将weights设为10,-20的话，则我们的hΘ(x)=g(10-20x1)。计算右上角的表格可以得出函数的值与逻辑非函数的... 阅读全文

摘要： 异或运算与同或运算X1,X2取0或者1,左边图中只有两个positive examples和两个negative examples,是右边复杂图的简化，对于右边这张图，我们想做的是learn a nonlinear division of bondary(能够将positive和negative分开... 阅读全文

摘要： 神经网络是如何一步步进行计算的，以及对计算过程的向量化Z1(2),Z2(2),Z3(2) are just weighted linear combination of input value x1,x2,x3.上图右边灰色框里面的为Z(2)，为3*1矩阵。a1(2)=g(Z1(2))......a... 阅读全文