360MEMZ

摘要： dropout 定义 & 作用 & 基本实现 如课程所说,dropout最大的意义在于防止过拟合. 我们还记得, dropout在网络架构上介于激活函数之后, 下一层输入之前. 想法很简单, 就是将隐含层的某些数据屏蔽掉, 直接从以输入到下一层, 概率为p. 需要注意的是, dropout是仅针对训 阅读全文

摘要： 预警: 本次内容不算多, 但数学推导较复杂 Normalization 归一化的意义 之前内部的权重没有做过标准化. 实际上如果能标准化, 可以提升训练效果, 甚至可以提升精度(虽然不大). 设立专门的batch/layer normalization层的意义在于: 梯度更加规范 对于学习率(可以更 阅读全文