超参数调试、Batch正则化和编程框架

1.调试处理

2.为超参数选择合适的范围

3.超参数在实践中调整：熊猫与鱼子酱

4.正则化网络的激活函数

 

5.将batch norm拟合进神经网络

6. 为什么Batch Norm会起作用？

7.测试集怎么用Batch Norm？

　　也就是说在测试集中,gamma和beta值都是训练集训练得到的值,而样本均值和方差是测试集本身计算出来的,公式如下：

8. softmax回归

9. 训练一个softmax分类器

 

 

参考文献：

【1】为什么batch normalization在训练和测试时使用的均值和方差的计算方式不同？

【2】tensorflow中batch normalization的用法