摘要：整体结构 CNN 中新增了Convolution 层和Pooling 层。CNN 的层的连接顺序是“Convolution - ReLU -（Pooling）”（Pooling 层有时会被省略）。靠近输出的层中使用了之前的“Affi ne - ReLU”组合。此外，最后的输出层中使用了之前的“Aff 阅读全文

摘要：参数的更新 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻 找最优参数的问题，解决这个问题的过程称为最优化（optimization）。 SGD 这里把需要更新的权重参数记为W，把损失函数关于W的梯度记为 。 η表示学习率，实际上会取0.01或0.001这些事先决定好的值。式子中的表 阅读全文

摘要：像这样的由全部变量的偏导数汇总而成的向量称为梯度（gradient），梯度可以像下面这样来实现,这里使用的是用数值微分求梯度的方法。 梯度法 虽然梯度的方向并不一定指向最小值，但沿着它的方向能够最大限度地减小函数的值。因此，在寻找函数的最小值（或者尽可能小的值）的位置的任务中，要以梯度的信息为线索， 阅读全文

摘要：前提 神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。 步骤1（mini-batch） 从训练数据中随机选择一部分数据。步骤2（计算梯度） 计算损失函数关于各个权重参数的梯度。步骤3（更新参数） 将权重参数沿梯度方向进行微小的更新。步骤4 阅读全文

摘要：Affine 层 分别是形状为(2,)、(2, 3)、(3,) 的多维数组。这样一来，神经元的加权和可以用Y = np.dot(X, W) + B计算出来。 神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”。因此，这里将进行仿射变换的处理实现为“Affine层”。 Affine 阅读全文

摘要：ReLu函数 sigmoid函数 阅读全文