摘要：Recurrent Neural Network是在单个神经元上，除了输入与输出外，添加了一条Recurrent回路。也就是说，节点当前的状态将会影响其未来的状态。下式可以表征此关系： st= f(st-1, xt, θ) 如下图左侧，将前一时刻神经元的输出状态s，作为下一时刻的一个输入值，加权并入 阅读全文

摘要：在所有依靠Gradient Descent和Backpropagation算法来学习的Neural Network中，普遍都会存在Gradient Vanishing Problem。Backpropagation的运作过程是，根据Cost Function进行反向传播，利用Chain Rule去计 阅读全文

摘要：池化层(Pooling layer)同样是收到了视觉神经科学的启发。在初级视觉皮层V1(Primary visual cortex)中，包含了许多复杂细胞(Complex cells)，这些细胞对于图像中物体微小的变化具有不变性(invariance to small shifts and dist 阅读全文

摘要：在CNN(1)中，我们用到下图来说明卷积之后feature maps尺寸和深度的变化。这一节中，我们讨论feature map size, padding and stride。 首先，在Layer1中，输入是32x32的图片，而卷积之后为28x28，试问filter的size(no padding 阅读全文

摘要：在CNN(1)和CNN(2)两篇文章中，主要说明的是CNN的基本架构和权值共享(Weight Sharing)，本文则重点介绍卷积的部分。 首先，在卷积之前，我们的数据是4D的tensor（width,height,channels,batch），在CNN(1):Architecture一文中，曾经 阅读全文

摘要：Sparse Interactions, Receptive Field and Parameter Sharing是整个CNN深度网络的核心部分，我们用本文来具体分析其原理。 首先我们考虑Feedforward Neural Network，L层的输出矩阵，等于L层的输入矩阵与L层的权重矩阵做矩阵 阅读全文