11 2021 档案

pytorch小型数据深度学习dataloader加载时间过长的问题
摘要：本人使用的训练数据是一维的谱数据，本应加载速度十分快速，但实际每个epoch用在加载上的时间有足足5~8s。 排查发现dataloader的numworkers设置为了4，由于数据本身加载仅用很短的时间（0.01s数量级）因此dataloader创建新进程的时间比数据加载的时间多太多，导致性能变慢， 阅读全文

posted @ 2021-11-25 09:16 crazyplayer 阅读(1118) 评论(2) 推荐(3)

导航