摘要：经典网络： LeNet-5： AlexNet： VGG-16： ResNet网络： 先引入残差块的概念： 远眺连接概念： 如下图中，除了正常的全连接外，还有将第一层计算的激活函数值不经过第二层直接使用到第二层的激活函数中，这就是一种远眺连接。 而下面这种远眺连接与全连接的一块神经就是残差块。所以对于 阅读全文

摘要：迁移学习： 将已经经过大量数据集训练完成的模型套用，修改最后一个两个层级的超参数，这是在对于新的学习任务数据量差距很大的时候可适用的方式，但是要处理的大概是同一方向的东西，例如图像对图像的迁移学习，语音对语音的迁移学习，如果说新任务的数据量也很客观，可以选择重新训练整个模型的超参数；所谓预学习,微调 阅读全文

摘要：深度学习框架有很多种，都是封装好的，基本是不用我们处理，只要完成正向传播，反向传播就能通过框架完成，需要自己去选择学习合适的框架，并且知道如何运用； ———————————————————————————————————————————————————————————— 正交化： 正交化是为了处理自 阅读全文

摘要：学习率衰减： 在迭代到后期可能因为学习率的问题导致一直在一个大范围动荡无法更近一步靠近低点，所以要调整学习率以求达到低点，使用迭代次数自动衰减是挺好的办法； 遍历完一次训练集为一代 —————————————————————————————————————————————————————— 为超参数 阅读全文

摘要：在建立模型中出现三种情况： 1.欠拟合，偏差大，模型对训练数据都预测不准确，要调整自己的模型，或者说重构自己的神经网络。 2.刚刚好，偏差与方差都挺高的，说明模型建立的还可以。 3.过拟合，方差过大，拟合太准，缺少泛化，只对训练集起到效果很好，对测试集效果不是很好，这种时候就要考虑正则化； 以下两种 阅读全文

摘要：训练集处理： 在X_train塞入一个训练集例如209张照片，那么数组维度可能为（209，64，64，3）209张，高64，宽64，3层（RBG） 同时存在一个Y_train训练集的y值， 此时X_train.shap[0]为最外维度209；要一次性处理数据集最好将它变成二维数组把色层放一个维度X_ 阅读全文