2020年11月9日
笔记一、batch_size 非线性激活函数
摘要： 一、深度学习中batch_size的大小对模型训练的影响。 在合理范围内，增加batch_size的好处： 提高了内存利用率以及大矩阵乘法的并行化效率。 跑完一次epoch所需要的迭代次数变少。 在一定范围内batch_size越大，其确定的下降方向越准，引起训练振荡越小。 盲目增大batch_si 阅读全文
posted @ 2020-11-09 14:50 Dem0_zhu 阅读(90) 评论(0) 推荐(0) 编辑