摘要：
一、ShortCut结构 ResNet神经网络中有一种ShortCut Connection网络结构，主要用的是跳远连接的方式来解决深层神经网络退化的问题，在跳远连接的后需要对输入与激活前的值进行相加，激活前的值y可能与输入值的shape相同（称为identity block），也可能不相同（称为c 阅读全文
摘要：
一、Inception网络的作用 2012年AlexNet做出历史突破以来，直到GoogLeNet出来之前，主流的网络结构突破大致是网络更深（层数），网络更宽（神经元数），这些网络有以下的缺点： 参数太多，容易过拟合，若训练数据集有限； 网络越大计算复杂度越大，难以应用； 网络越深，梯度越往后穿越容 阅读全文
摘要：
一、LeNet-5 Lenet-5的结构很简单，但是包含神经网络的基本结构，用的是5*5卷积和平均池化，可以用来作为简单的练习，其结构图下： 代码： import tensorflow as tf import matplotlib.pyplot as plt import os # gpus=tf 阅读全文
摘要：
一、全连接层 tensorflow中用tf.keras.layers.Dense()这个类作为全连接的隐藏层，下面是参数介绍： tf.keras.layers.Dense() inputs = 64, # 输入该网络层的数据 units = 10, # 输出的维度大小 activation = No 阅读全文
摘要：
一、loss、acc提取 有时候我们需要查看每个batch训练时候的损失loss与准确率acc，这样可以帮助我们挑选合适的epoch以及查看模型是否收敛。 Model.fit()在调用时会返回一个History类，这个类的一个属性Historty.history是一个字典，里面就包含了每一个batc 阅读全文
摘要：
一、操作文件夹、文件 os.getcwd() #返回当前工作路径 os.path.isabs() #判断是否是绝对路径 os.path.isfile() #检验给出的路径是否是一个文件 os.path.isdir() #检验给出的路径是否是一个目录 os.sep #文件的路径分隔符 如:在windo 阅读全文
摘要：
一、保存、读取说明 我们创建好模型之后需要保存模型，以方便后续对模型的读取与调用，保存模型我们可能有下面三种需求：1、只保存模型权重参数；2、同时保存模型图结构与权重参数；3、在训练过程的检查点保存模型数据。下面分别对这三种需求进行实现。 二、仅保存模型参数 仅保存模型参数可以用一下的API： Mo 阅读全文
摘要：
一、图片数据读取 在做模型训练前，需要读取数据集数据，对图片数据的读取方法做一下介绍。 数据的存放如下：数据集存放在C:\Users\Administrator\Desktop\train\datasets文件夹，该文件夹下有两个文件夹，train存放训练集，test存放测试集。图片的命名格式为“类 阅读全文
摘要：
一、数据集与模型的介绍 数据集的来源是Fashion MNIST数据集，Fashion MNIST是衣物图数据，该数据集包含 10 个类别的 70,000 个灰度图像。我们用这个数据构建一个神经网络模型，并训练它，模型的结构为input=784，layer1=128，output=10。 数据集的图 阅读全文
摘要：
一、指数衰减学习率 为什么使用指数衰减学习率，在进行模型训练时，学习率如果固定不变，可能在接近最小值时，由于学习率过大一直在最小值范围震荡，若学习率逐步减小，开始时可以设置较大学习率，可以先快速拟合最优解，最后使参数的拟合区域稳定。 二、激活函数 1、sigmod激活函数 tf.nn.sigmoid 阅读全文