浮沉沉浮

摘要： 前面一篇博客讲解了softmax函数，下面讲解一下这个代码的意思： 具体的执行流程大概分为两步： 1 第一步是先对网络最后一层的输出做一个softmax，这一步通常是求取输出属于某一类的概率，对于单样本而言，输出就是一个num_classes大小的向量（[Y1，Y2,Y3...]其中Y1，Y2，Y3 阅读全文

摘要： 前面提到激活函数，在实现手写体 mnist 数据集的识别任务中的反向传播过程文件（mnist_backward.py） 用到了softmax函数，又称归一化指数函数。下面就谈谈我对其的理解。 它能将一个含任意实数的K维的向量z的“压缩”到另一个K维实向量σ(z) 中，使得每一个元素的范围都在(0,1 阅读全文

摘要： 实现手写体 mnist 数据集的识别任务，共分为三个模块文件，分别是描述网络结构的前向传播过程文件（mnist_forward.py）、 描述网络参数优化方法的反向传播 过 程 文件 （ mnist_backward.py ）、 验证 模 型 准确 率 的 测试 过 程 文件（mnist_test. 阅读全文

摘要： mnist 数据集：包含 7 万张黑底白字手写数字图片，其中 55000 张为训练集，5000 张为验证集，10000 张为测试集。每张图片大小为 28*28 像素，图片中纯黑色像素值为 0，纯白色像素值为 1。数据集的标签是长度为 10 的一维数组，数组中每个元素索引号表示对应数字出现的概率。 在 阅读全文

摘要： 前面的博客激活函数简要的了解了一下什么是激活函数，现在在正则化和神经网络模块化中突然遇到了激活函数，所以下面主要讲解一下我对激活函数的理解； 在前面代码y1 = tf.nn.relu(tf.matmul(x, w1) + b1)中，用到了激活函数 tf.nn.relu（); 那什么是激活函数呢？ 如 阅读全文

摘要： 在前面的学习中,已经学习了最基本的神经网络搭建过程，现在来总结一下，将神经网络的搭建形成模块化。 前向传播：由输入到输出，搭建完整的网络结构 。即搭建模型的计算过程，可以根据输入给出相应的输出。 描述前向传播的过程需要定义三个函数 1. def forward(x, regularizer): w= 阅读全文

摘要： 其中，data_list1：1行7列，data_list2：1行7列，data_list1：1行5列， 结果如下 简单地总结一下用法就是： np.r_是按行连接两个矩阵，就是把两矩阵上下相加，要求列数相等。 np.c_是按列连接两个矩阵，就是把两矩阵左右相加，要求行数相等。 np.r 要求行数相等, 阅读全文

摘要： 超参数：在机器学习中，超参数是在开始学习过程之前定义的参数，而不是通过训练得到的参数； 过拟合：神经网络模型在训练数据集上的准确率较高，但此模型在新的数据进行预测或分类时准确率较低，则说明这个模型的泛化能力差。 正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小 阅读全文

摘要： 在神经网络模型中，将 MOVING_AVERAGE_DECAY 设置为 0.99，参数 w1 设置为 0，w1 的滑动平均值设置为 0。 ①开始时，轮数 global_step 设置为 0，参数 w1 更新为 1，则 w1 的滑动平均值为： w1 滑动平均值=min(0.99,1/10)*0+(1– 阅读全文

摘要： 对于随机梯度下降法，有前面的博客随机梯度下降法实例中可以看出，学习率的选取是很困难的，过大和过小都会出现问题；现在提出一种新方法来选取学习率。 每一轮： 代码为： 阅读全文