mxnet:gluon模块进行数据加载Dataset和DataLoader

在gluon接口中,通过Dataset和DataLoader来对数据集进行循环遍历,并返回batch大小的数据,

其中Dataset对象用于数据的收集、加载和变换,而DataLoader对象用于返回batch大小的数据

1. 相关模块
  mxnet.gluon.data : 数据加载API
  mxnet.gluon.data.vision : 专门用于计算机视觉的数据集API和处理工具
2. Dataset介绍
Dataset对象用于收集数据、加载和变换数据,其中,数据加载是能够通过给定的下标获取对应的样本,数据变换可以对数据进行各种数据增广操作

所有Dataset类中,都有以下四个方法:

  getitem(idx): 数据加载,用于返回第idx个样本
  len(): 用于返回数据集的样本的数量
  transform(fn, lazy = True): 数据变换,用于返回对每个样本用fn函数进行数据变换(增广)后的Dataset
  transform_first(fn, lazy = True): 数据变换,用于返回对每个样本的特征利用fn函数进行数据变换(增广)后的Dataset,而不对label进行数据增广

ArrayDataset

ImageFolderDataset

ImageRecordDataset

 

posted on 2021-03-22 15:05  柒~年  阅读(45)  评论(0)    收藏  举报

导航