pytorch小型数据深度学习dataloader加载时间过长的问题
本人使用的训练数据是一维的谱数据,本应加载速度十分快速,但实际每个epoch用在加载上的时间有足足5~8s。
排查发现dataloader的numworkers设置为了4,由于数据本身加载仅用很短的时间(0.01s数量级)因此dataloader创建新进程的时间比数据加载的时间多太多,导致性能变慢,将numworkers设置为0,不启动额外进程,提速明显。
本来是这么一个简单的问题,花了大量时间排查,最后去还研究了dataloader的机制,特此记录一下。
posted on 2021-11-25 09:16 crazyplayer 阅读(1106) 评论(2) 收藏 举报
浙公网安备 33010602011771号