pytorch之Dataset

 

数据集类型

DataLoader构造函数中最重要的参数是dataset，它指示数据集从哪儿加载。pytorch支持两个不同类型的数据集。

map-style datasets

iterable-style datasets

一、Map-style datasets

map-style datasets 要实现__getitem__（）和__len__（），通过索引/关键字查找数据样例。如使用data[idx]，可以从文件夹中读第idx个图像和对应的标签。

二、Iterable-style datasets

iterable-style数据集是一个IterableDataset类的实例或子类，要实现__iter__()，可对数据样例进行迭代。

使用iter(dataset)能返回因读取数据库，远程服务器，实时产生的日志而产生的数据