初识Dataset

Dataset与Dataloader

Dataset主要是提供一种方式去获取数据以及label,主要实现如何获取每一个数据及其label，告诉我们总共有多少的数据；
Dataloader为后面的网络提供不同的数据类型；

Dataset

1.是一个抽象的类
2.可重写__getitiem__与__len__类

---

可以通过控制台，看到很多变量的属性。

运用dataset

点击查看代码

from torch.utils.data import Dataset  #引入Dataset这个类

from PIL import Image   #读取我们的图片
#Image.open:读入该图片；
#.size:图片的大小；
#。show:打开看看图片

import os   #获取所有图片的地址
#os.listdir(路径)：获得列表所有文件的地址
#os.path.join:将两个路径合起来

class Mydata(Dataset):   #定义了一个类
    #def:函数，传入参数后，赋予其性质或者功能
    def __init__(self, root_dir,label_dir):  #获取这个图片需要什么，就定义什么变量
        self.root_dir=root_dir
        self.label_dir=label_dir
        self.path=os.path.join(self.root_dir,self.label_dir)
        self.img_path=os.listdir(self.path)

    def __getitem__(self,idx):
        img_name=self.img_path[idx]
        img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)
        img=Image.open(img_item_path)
        label =self.label_dir
        return img,label

    def  __len_(self):  #读取传入东西的长度，数量等
        return len(self.img_path)

root_dir="dataset/train"
ants_label_dir="ants"
bees_label_dir="bees"
ants_dataset=Mydata(root_dir,ants_label_dir)
bees_dataset=Mydata(root_dir,bees_label_dir)

train_dataset=ants_dataset+bees_dataset

添加标签

用的是蚂蚁和蜜蜂的数据集，并没有标签，当然可以手动添加简单的，下面提供代码形式自动增加
其中目录为：需手动添加文件夹

添加标签代码

点击查看代码

#快速将所有图片都添加label
import os



root_dir="dataset/train"
target_dir="bees_image"
img_path=os.listdir(os.path.join(root_dir,target_dir))
label=target_dir.split('_')[0]
out_dir="bees_label"
for i in img_path:
    file_name=i.split('.jpg')[0]
    with open(os.path.join(root_dir,out_dir,"{}.txt".format(file_name)),'w') as f:
        f.write((label))

来源

练手数据集
密码: 5suq

笔记学习视频