2022年7月31日
使用内存映射加快PyTorch数据集的读取
摘要： 本文将介绍如何使用内存映射文件加快PyTorch数据集的加载速度 在使用Pytorch训练神经网络时，最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输，除了预取和缓存之外，没有任何其他的简单优化方式。 但是如果数据本地存储，我们可以通过将整个数据集组合成一个文件，然后映射到内存中 阅读全文
posted @ 2022-07-31 10:21 deephub 阅读(174) 评论(0) 推荐(0)