范仁义

2020年9月24日

Tensorflow2（预课程）---10.1、循环神经网络实现4个字母预测1个字母

摘要： Tensorflow2（预课程） 10.1、循环神经网络实现4个字母预测1个字母一、总结一句话总结：网络还是一样的网络，输入数据变了而已：model = tf.keras.Sequential([SimpleRNN(3),Dense(5, activation='softmax')]) pri 阅读全文

posted @ 2020-09-24 08:27 范仁义阅读(487) 评论(0) 推荐(0)

SimpleRNNCell详解

摘要： SimpleRNNCell详解一、总结一句话总结： units: 正整数，输出空间的维度,即隐藏层神经元数量. recurrent_dropout: 隐藏层之间的dropout. class SimpleRNNCell(Layer): """Cell class for SimpleRNN. # 阅读全文

posted @ 2020-09-24 08:18 范仁义阅读(1073) 评论(0) 推荐(0)

2020年9月23日

Tensorflow2（预课程）---9.1、循环神经网络实现输入一个字母，预测下一个字母

摘要： Tensorflow2（预课程） 9.1、循环神经网络实现输入一个字母，预测下一个字母一、总结一句话总结： model = tf.keras.Sequential([SimpleRNN(3),Dense(5, activation='softmax')]) 二、循环神经网络实现输入一个字母，预测阅读全文

posted @ 2020-09-23 10:44 范仁义阅读(492) 评论(0) 推荐(0)

循环神经网络总结

摘要：循环神经网络总结一、总结一句话总结： $$y _ { t } = \operatorname { softmax } ( h _ { t } w _ { h y } + b y )$$ $$h _ { t } = \tanh ( x _ { t } w _ { x h } + h _ { t - 阅读全文

posted @ 2020-09-23 10:33 范仁义阅读(174) 评论(0) 推荐(0)

200813_tensorflow2---6、LSTM的用途（杂）

摘要： 200813_tensorflow2 6、LSTM的用途（杂）一、总结一句话总结：长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的阅读全文

posted @ 2020-09-23 06:46 范仁义阅读(405) 评论(0) 推荐(0)

CNN网络架构演进：从LeNet到DenseNet

摘要： CNN网络架构演进：从LeNet到DenseNet 一、总结一句话总结：这篇文章有LeNet、AlexNet、VGG、GoogleNet、ResNet、DenseNet对应的keras的代码 1、LeNet？ (①)、LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识阅读全文

posted @ 2020-09-23 05:58 范仁义阅读(333) 评论(0) 推荐(0)

Dropout VS Batch Normalization

摘要： Dropout VS Batch Normalization 一、总结一句话总结： (1)、总体来说，BN在准确率和损失率上表现要优于Dropout，比如准确率上BN能达到85%，而Dropout接近为79%。 (2)、Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度阅读全文

posted @ 2020-09-23 05:45 范仁义阅读(374) 评论(0) 推荐(0)

Batch Normalization

摘要： Batch Normalization 一、总结一句话总结： (I)、BN的作用就是将这些输入值进行标准化，降低scale的差异至同一个范围内。 (II)、这样做的好处在于一方面提高梯度的收敛程度，加快训练速度； (III)、另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确阅读全文

posted @ 2020-09-23 02:18 范仁义阅读(319) 评论(0) 推荐(0)

权重初始化的选择

摘要：权重初始化的选择一、总结一句话总结： ①)、随机分布权重：均匀分布：从结果可知，若我们的输入是10000个特征点，那么a= ∑10000wixi + b，且|a|>1的概率很大（结果为16.111116）。可想而知，不采用激活函数或relu函数，则有梯度爆炸的可能性；若采用sigmoid激活函数阅读全文

posted @ 2020-09-23 01:42 范仁义阅读(285) 评论(0) 推荐(0)

2020年9月22日

机器学习中线性模型和非线性的区别

摘要：机器学习中线性模型和非线性的区别一、总结一句话总结： 1)、线性和非线性的区别是是否可以用直线将样本划分开(这个观点是对的) 2)、线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型 3)、区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w 阅读全文

posted @ 2020-09-22 22:13 范仁义阅读(2875) 评论(0) 推荐(0)

在校每年国奖、每年专业第一，加拿大留学，先后工作于华东师范大学和香港教育大学

公告