摘要: 1、为什么通过添加nbs变量来扩大batch_size,而不是直接扩大batch_size的大小?首先,增大batch_size有三点好处:(1)内存的利用率提高了,大矩阵乘法的并行化效率提高;(2)跑完一次epoch(全数据集)所需迭代次数减少,对于相同的数据量的处理速度进一步加快;(3)一定范围 阅读全文
posted @ 2023-05-18 13:53 瘋耔 阅读(144) 评论(0) 推荐(0) 编辑
跳至侧栏