动手学深度学习—数据预处理

一、读取数据集

import os
import pandas as pd

# 创建一个数据集文件
os.makedirs(os.path.join('..', 'data'), exist_ok=True)        # 创建一个文件夹data，存储路径“..\data”
data_file = os.path.join('..', 'data', 'house_tiny.csv')      # 在文件夹data下，创建一个数据集文件house_tiny.csv
with open(data_file, 'w') as f:                               # 向数据集文件中写数据
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')

# 读取数据
data = pd.read_csv(data_file)
print(data)

二、处理缺失值

  注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())                 # 将NaN空值，用该列的均值代替
print(inputs)

# 对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。
inputs = pd.get_dummies(inputs, dummy_na=True) 
print(inputs)

* 注意fillna函数的具体用法

三、转换类型

x, y = torch.tensor(inputs.values), torch.tensor(outputs.values) # <class 'torch.Tensor'> 将x, y转换为tensor张量类型
x1, y1 = np.array(inputs.values), np.array(outputs.values)       # <class 'numpy.ndarray'> 将x, y转换为numpy数组类型

四、 练习

import  numpy as np
import os
import pandas as pd
import torch

os.makedirs(os.path.join('..', 'data'), exist_ok = True)
data_file = os.path.join('..', 'data', 'grade.csv')
with open(data_file, 'w') as f:
    f.write('Sno,Sname,Subject,Grade\n')            # 注意，f.write('...'),省略号里面不要加空格符，否则会导致后面数据识别对不上
    f.write('202201,ls,English,NA\n')
    f.write('202202,NA,English,NA\n')
    f.write('NA,df,English,NA\n')
    f.write('202204,et,NA,NA\n')
    f.write('202205,NA,English,90\n')
    f.write('NA,yu,English,NA\n')
    f.write('202207,ol,English,98\n')

data = pd.read_csv(data_file)
print(data)
num = data.isnull().sum(axis=0)
data.drop('Grade',axis=1)

inputs,outputs = data.iloc[:,0:3],data.iloc[:,3]
inputs = inputs.fillna(inputs.mean(numeric_only=True))
inputs = pd.get_dummies(inputs,dummy_na=True)
x,y = torch.tensor(inputs.values),torch.tensor(outputs.values)
print(x,y,sep="\n")