导航

随笔分类 -  深度学习

深度神经网络知识

text_CNN笔记

摘要：Text-CNN模型作为文本分类模型，通过验证实验以及业界的共识，在文本分类任务中，CNN模型已经能够取到比较好的结果，虽然在某些数据集上效果可能会比RNN稍差一点，但是CNN模型训练的效率更高。所以，一般认为CNN模型在文本分类任务中是兼具效率与质量的理想模型。针对海量的文本多分类数据，也可以尝试 阅读全文

posted @ 2018-12-12 16:48 wzd321 阅读(626) 评论(0) 推荐(0)

长短记忆神经网络LSTM

摘要：转载： https://www.jianshu.com/p/dcec3f07d3b5 https://blog.csdn.net/dream_catcher_10/article/details/48522339 重要：https://blog.csdn.net/roslei/article/det 阅读全文

posted @ 2018-12-10 16:13 wzd321 阅读(2429) 评论(1) 推荐(1)

图片数据增广

摘要：将原始图片旋转一个小角度，添加随机噪声。一些有弹性的畸变（elastic distortions），论文《Best practices for convolutional neural networks applied to visual document analysis》对MNIST做了各种变种 阅读全文

posted @ 2018-11-16 11:35 wzd321 阅读(599) 评论(0) 推荐(0)

Gini系数的原理

摘要：转载：https://blog.csdn.net/u010665216/article/details/78528261 首先，我们直接构造赛题结果：真实数据与预测数据： 我们将预测值从小到大排列： 我们对排序后的真实值累计求和： 我们将数据Normalization到0，1之间，并画出45度线： 阅读全文

posted @ 2018-10-20 15:15 wzd321 阅读(1830) 评论(0) 推荐(0)

Logistic回归的两种形式y=0/1,y=+1/-1

摘要：第一种形式：y=0/1 第二种形式：y=+1/-1 第一种形式的损失函数可由极大似然估计推出: 第二种形式的损失函数： ， 参考：https://en.wikipedia.org/wiki/Loss_functions_for_classification 阅读全文

posted @ 2018-10-07 23:30 wzd321 阅读(1351) 评论(0) 推荐(1)

BatchNormalization批量归一化

摘要：动机： 防止隐层分布多次改变，BN让每个隐层节点的激活输入分布缩小到-1和1之间. 好处： 缩小输入空间，从而降低调参难度；防止梯度爆炸/消失，从而加速网络收敛. BN计算公式： 参数 axis: 整数，指定要规范化的轴，通常为特征轴。例如在进行data_format="channels_first 阅读全文

posted @ 2018-09-29 22:08 wzd321 阅读(1062) 评论(0) 推荐(0)

机器学习的应用领域和知识点

摘要： 阅读全文

posted @ 2018-09-28 22:05 wzd321 阅读(318) 评论(0) 推荐(0)

KL散度

摘要：KL散度是两个概率分布P与Q差异的一种方法： 1.离散概率分布KL散度计算公式 2.连续概率分布KL散度计算公式 KL散度可以很好地度量两个分布之间的距离，两个分布越接近，KL散度越小，两个分布越远，KL散度越大。 参考：https://blog.csdn.net/ericcchen/article 阅读全文

posted @ 2018-09-28 15:44 wzd321 阅读(268) 评论(0) 推荐(0)

对于分类问题的神经网络最后一层的函数：sigmoid、softmax与损失函数

摘要：对于分类问题的神经网络最后一层的函数做如下知识点总结： sigmoid函数的定义：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推导出x=ef/(1-ef)，即输出的是y=1的概率，这一点与softmax函数不同. 常用损失函数介绍： MSE：均方误差一遍用于回归问题的损 阅读全文

posted @ 2018-09-27 13:29 wzd321 阅读(9119) 评论(0) 推荐(1)

激活函数sigmoid、tanh、relu、Swish

摘要：激活函数的作用主要是引入非线性因素，解决线性模型表达能力不足的缺陷 sigmoid函数可以从图像中看出，当x向两端走的时候，y值越来越接近1和-1，这种现象称为饱和，饱和意味着当x=100和x=1000的映射结果是一样的，这种转化相当于将1000大于100的信息丢失了很多，所以一般需要归一化数据。 阅读全文

posted @ 2018-09-26 22:24 wzd321 阅读(6594) 评论(0) 推荐(1)