mxnet:gluon模块进行数据加载Dataset和DataLoader
在gluon接口中,通过Dataset和DataLoader来对数据集进行循环遍历,并返回batch大小的数据,
其中Dataset对象用于数据的收集、加载和变换,而DataLoader对象用于返回batch大小的数据。
1. 相关模块
mxnet.gluon.data : 数据加载API
mxnet.gluon.data.vision : 专门用于计算机视觉的数据集API和处理工具
2. Dataset介绍
Dataset对象用于收集数据、加载和变换数据,其中,数据加载是能够通过给定的下标获取对应的样本,数据变换可以对数据进行各种数据增广操作
所有Dataset类中,都有以下四个方法:
getitem(idx): 数据加载,用于返回第idx个样本
len(): 用于返回数据集的样本的数量
transform(fn, lazy = True): 数据变换,用于返回对每个样本利用fn函数进行数据变换(增广)后的Dataset
transform_first(fn, lazy = True): 数据变换,用于返回对每个样本的特征利用fn函数进行数据变换(增广)后的Dataset,而不对label进行数据增广
ArrayDataset

ImageFolderDataset

ImageRecordDataset

浙公网安备 33010602011771号