摘要: 本文将介绍如何使用内存映射文件加快PyTorch数据集的加载速度 在使用Pytorch训练神经网络时,最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输,除了预取和缓存之外,没有任何其他的简单优化方式。 但是如果数据本地存储,我们可以通过将整个数据集组合成一个文件,然后映射到内存中 阅读全文
posted @ 2022-07-31 10:21 deephub 阅读(174) 评论(0) 推荐(0)