摘要：0. 需求 当训练的数据非常多时，是不希望分配过多的内存将数据存入，否则其他占用内存的数据处理步骤就没法进行了。我们最好是以小批量地方式读入数据，然后预处理，然后送到网络，之后释放内存，以此循环。 1. 方法的简要说明 tf.keras中有一个高度封装的图片预处理类：ImageDataGenerat 阅读全文

摘要：0.卷积层的理解 实际上卷积核(convolution kernel)不是真的卷积,而是类似一个输入和输出之间的线性表达式. 为什么叫做卷积呢, 因为两个次序上相邻的NxN卷积核有N-1的重叠. 本质上卷积核是一个线性过滤式, 比如输入时4x4的小宏块, 卷积核过滤的结果相当于一次线性计算. 卷积核 阅读全文

摘要：tf2.0推荐的模型搭建方法是： 继承tf.keras.Model类，进行扩展以定义自己的新模型。 手工编写模型训练、评估模型的流程。 （优点：灵活度高；与其他深度学习框架共通） 以CNN处理单通道图片作为示例： class CNN(tf.keras.Model): def __init__(sel 阅读全文

摘要：1. 基本算法 1.1 随机梯度下降 1.2 动量算法 1.3 nesterov动量算法 2. 自适应学习率算法 2.1 AdaGrad 2.2 RMSProp 2.3 Adam 1.1 随机梯度下降 从数据集中随机抽取m个小批量样本（满足样本独立同分布），这样对每一个样本计算前馈损失，然后用前馈损 阅读全文

摘要：深度学习在训练模型的时候，通常使用迭代优化算法来搜寻代价函数的极小值。初始值对算法影响的方面：1.影响优化算法是否收敛，有的初始点的选择会造成数值问题（梯度消失）；2.影响算法的收敛速度；3.影响算法收敛于高代价或低代价的极值点4.收敛于相同代价值的不同初始点，很可能学习出不同的参数分布，在泛化能力 阅读全文