随笔分类 -  深度学习理论

摘要：上学期期末老师给了我本杂志让我好好看看里面的Gans网络是如何应用在文本生成上的，文章里面也没有介绍原理性的东西，只是说了加入这个Gans模型后效果有多好，给出了模型架构图和训练时所用的语料例子，也没有给出模型的细节以及训练时的优化目标。看的我一脸懵。这篇文章也不涉及任何原理性东西，只是用我自己的理 阅读全文

摘要：PReLU全名Parametric Rectified Linear Unit. PReLU-nets在ImageNet 2012分类数据集top-5上取得了4.94%的错误率，首次超越了人工分类的错误率（5.1%）。PReLU增加的计算量和过拟合的风险几乎为零。考虑了非线性因素的健壮初始化方法使得 阅读全文