深度学习基础理论知识

深度学习入门,里面包含各种基本知识:https://www.zybuluo.com/hanbingtao/note/433855

激活函数:https://blog.csdn.net/weixin_41417982/article/details/81437088
L正则化项和dropout:https://blog.csdn.net/qq_33200967/article/details/79951500

优化器:https://blog.csdn.net/LoseInVain/article/details/81708474

交叉验证的时候,每一折都需要重新定义模型和优化器

正常的数据划分为训练集、验证集、测试集三部分

调参的前提是模型需要收敛

batchsize的理解:https://www.jiqizhixin.com/articles/2018-07-12-4

神经网络的反向传播:反向传播看上去是一个很简单的过程,但实际上有很多技巧在里面。向量的加减乘除、点乘,都好理解,直接公式求导就行。loss function也好理解,无非是对不同参数层的权值更新,或者是对同一参数层的多次更新。但是向量的拼接却不是很好理解了。我个人猜想应该会保存相应向量的位置,然后对这些向量的权重进行单独更新。

训练神经网络的技巧:https://www.zhihu.com/question/41631631/answer/862075836
解决梯度消失和梯度爆炸的技巧:https://blog.csdn.net/qq_25737169/article/details/78847691

posted @ 2019-12-03 10:34  哦摩西罗伊  阅读(753)  评论(0编辑  收藏  举报