摘要： 1. Data Augmentation：对数据进行增强，即对已有的数据进行翻转、平移或旋转等，得到更多的数据，避免过拟合，使得神经网络具有更好的泛化效果 ①基本的操作： 随机组合： （1）翻转 （2）旋转 （3）拉伸 （4）剪切 （5）镜头扭曲 ②更复杂的操作： （1）应用PCA （2）色彩偏移 阅读全文

摘要： 1. Dropout：是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃（使其暂时不工作），使一部分神经元工作，使另一部分神经元不工作；没有被删除的部分的参数得到更新，被删除的神经元参数保持之前的状态，此次训练过程中暂时不参加神经网络的计算，不更新权值，以达到避免过 阅读全文

摘要： 1. SGD的不足： ①呈“之”字型，迂回前进，损失函数值在一些维度的改变得快（更新速度快），在一些维度改变得慢（速度慢）- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点： 局部最小值： 鞍点： ③对于凸优化而言，SGD不会收敛，只会在最优点附近跳来跳去 - 可以通过使用不固定的learning 阅读全文