Day 02

 机器学习任务攻略

1.  Support Vector Machine  支持向量机（SVM）
2. overfitting 过拟合 
1. 在traing data上的loss小，在testing上的loss大才叫overfitting
解决方法：
1. 增加你的训练资料
2. Data augmentation 数据强化，用你自己对这个问题的理解创造出来的资料（如左右翻转，某部分放大...）
3. 不要让你的模型有那么大的弹性，给它一些限制（如函数限制为二次函数、Less parameters(比较少的神经元数目)、share parameters（共用参数，让一些参数有一样的数值）...）
   1. Fully-connected 全连接层，CNN（比较没有弹性的model，针对影像的特性去限制模型的弹性）包含其中　　 
4. Less feature 功能较少
5. Early stopping    PyTorch框架中使用的
6. Regularization   正则化
7. Dropput   

   深度学习中Dropout原理解析 - 知乎 (zhihu.com)

3. N-fold Cross Validation N折交叉验证
4. 总结

   

 

类神经网络训练不起来怎么办

（一）局部最小值（local minima）和鞍点（saddle point）

1. gradient is close to zero→critical point
1. 区分local minima和saddle point（数学计算）
2. 高维下的情况 

（二）批次（batch）与动量（momentum）（可能对抗saddle point和local minima）

1.  Epoch

   

   

2. Gradient Descent + Momentum

　　　　　　　Gradient的反方向+Momentum的方向 

（三）自动调整学习率