摘要：
刘建平Pinard博客系列 深度神经网络（DNN）模型与前向传播算法 深度神经网络（DNN）反向传播算法(BP) 深度神经网络（DNN）损失函数和激活函数的选择 机器学习中的交叉熵代价函数 深度神经网络（DNN）的正则化 卷积神经网络(CNN)模型结构 卷积神经网络(CNN)前向传播算法 卷积神经网 阅读全文
摘要：
在深度学习章节里，已经介绍了批量归一化的概念，详情请点击这里：第九节，改善深层神经网络：超参数调试、正则化以优化(下) 神经网络在进行训练时,主要是用来学习数据的分布规律,如果数据的训练部分和测试部分分布不一样,那么网络的泛化能力会变得非常差.而且对于训练的数据,每批分布也是不一样的,那么网络在迭代 阅读全文
摘要：
在使用卷积神经网络时，我们也总结了一些训练技巧，下面就来介绍如何对卷积核进行优化，以及多通道卷积技术的使用。 一 优化卷积核 在实际的卷积训练中，为了加快速度，常常把卷积核裁开。比如一个3x3的卷积核，可以裁成一个3x1和1x3的卷积核(通过矩阵乘法得知)，分别对原有输入做卷积运算，这样可以大大提升 阅读全文
摘要：
这一节，介绍TensorFlow中的一个封装好的高级库，里面有前面讲过的很多函数的高级封装，使用这个高级库来开发程序将会提高效率。 我们改写第十三节的程序，卷积函数我们使用tf.contrib.layers.conv2d()，池化函数使用tf.contrib.layers.max_pool2d()和 阅读全文
摘要：
在第十三节，我们已经介绍了使用带有全局平均池化层的CNN对CIFAR10数据集分类，在学习了反卷积神经网络之后我们把第十三节那个程序里的卷积层可视化出来。 一 替换掉tf.nn.max_pool()函数 这里不再使用自己定义的max_pool_2x2函数，改成新加入的带有mask返回值得max_po 阅读全文
摘要：
反卷积是指，通过测量输出和已知输入重构未知输入的过程。在神经网络中，反卷积过程并不具备学习的能力，仅仅是用于可视化一个已经训练好的卷积神经网络，没有学习训练的过程。反卷积有着许多特别的应用，一般可以用于信道均衡、图像恢复、语音识别、地震学、无损探伤等未知输入估计和过程辨识方面的问题。 在神经网络的研 阅读全文
摘要：
这里使用的数据集仍然是CIFAR-10，由于之前写过一篇使用AlexNet对CIFAR数据集进行分类的文章，已经详细介绍了这个数据集，当时我们是直接把这些图片的数据文件下载下来，然后使用pickle进行反序列化获取数据的，具体内容可以参考这里：第十六节，卷积神经网络之AlexNet网络实现(六) 与 阅读全文
摘要：
TensorFlow程序读取数据一共有3种方法: 供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。 从文件读取数据： 在TensorFlow图的起始， 让一个输入管道从文件中读取数据。 预加载数据： 在TensorFlow图中定义常量或变量来保存 阅读全文
摘要：
随着科研人员在使用神经网络训练时不断的尝试，为我们留下了很多有用的技巧，合理的运用这些技巧可以使自己的模型得到更好的拟合效果。 一 利用异或数据集演示过拟合 全连接网络虽然在拟合问题上比较强大，但太强大的拟合效果也带来了其它的麻烦，这就是过拟合问题。 首先我们看一个例子，这次将原有的4个异或带护具扩 阅读全文
摘要：
多层神经网络非常好理解，就是在输入和输出中间多加一些层，每一层可以加多个神经元。下面的例子是通过加入一个隐藏层后对异或数据进行分类。 一 异或数据集 所谓的"异或数据"是来源于异或操作，可以绘制在直角坐标系中，如下图所示： 我们可以看到这张图很难通过一个直线把这两类数据风格开来，但是我们可以通过类似 阅读全文