Deep_into_iris
具体ipynb文件请移步Github
#各种所需要的库函数首先加载 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sb import warnings warnings.filterwarnings('ignore') %matplotlib inline # Part 1.iris深入认识 ### 这是什么数据,加载后请分析? iris=pd.read_csv('data/iris-data.csv') iris.head() iris.shape iris.columns.tolist() iris.count() iris.info() iris.describe() iris.isnull().sum() #又是class列名惹的祸 iris.rename(columns={'class':'species'},inplace=True) iris['species'].value_counts() #### 初步探索: #数据共有150行数据,每行5列; #前4列为两个二元组,即花萼长宽、花瓣长宽; #第五列为花的种类,由于列名不一致,所以列出了5中,但只有三种。 #空值数据为petal_width_cm,有5个空值 #类别名称不要用class,命名产生冲突 ### 解决第一步遇到的问题 #1.解决类名不一致 #2.解决空值 #### 以上发现了类名有问题,即列名不一致。 #某列的名字需要改:data_df.rename(columns={'class':'Species'},inplace=True) #某列中的类别需要改:data_df['Species'].replace(['versicolor','Iris-setossa'],['Iris-versicolor','Iris-setosa'],inplace=True) iris['species'].replace(['versicolor','Iris-setossa'],['Iris-versicolor','Iris-setosa'],inplace=True) iris['species'].value_counts() #### 解决空值问题,由于空值少,所以可以用均值填充,如果缺失值太多,那么可以剔除,但要保留数据到备份。 #### 特别注意,空值是属于哪一类的,不要拿所有类的均值填充!!! #### pd.loc是用[], excuse me ? #average=iris['petal_width_cm'].mean()#skipna : boolean, default True #iris['petal_width_cm'].fillna(average) iris.isnull().sum() df_part=iris[iris['petal_width_cm'].isnull()==True] df_part #注意到空值的所有数据都是Iris-setosa的数据,所以用这个数据填充 average=iris.loc[iris['species']=='Iris-setosa','petal_width_cm' ].mean() iris.loc[(iris['species']=='Iris-setosa') & (iris['petal_width_cm'].isnull()),'petal_width_cm'] iris.loc[(iris['species']=='Iris-setosa') & (iris['petal_width_cm'].isnull()),'petal_width_cm']=average iris.isnull().sum() # Part 2.各种图表分析 sb.pairplot(iris,hue='species') #### seaborn的二元plot绘图很好用,两两组合,对角线是hist图表。 #### 以上观察第一列的黄点和第二列观察到蓝色是离群点。再用柱状图进一步分析: #### 以下发现Iris-versicolor中的 sepal_length_cm有问题 iris[iris['species']=='Iris-versicolor'].hist() iris[iris['sepal_length_cm']<2.5] iris.loc[(iris['species']=='Iris-versicolor') & (iris['sepal_length_cm']>2.5), 'sepal_length_cm' ].mean() iris.loc[(iris['species']=='Iris-versicolor') & (iris['sepal_length_cm']<2.5), 'sepal_length_cm' ].mean() #### 对比发现,两种数据相差100倍,所以根据业务场景分析,应该是单位cm与 m 导致的错误,所以纠正数据而不是drop数据。 #### 此处用到了 *= 的精髓, 将原来的数据扩大或缩小倍数 iris.loc[(iris['species']=='Iris-versicolor') & (iris['sepal_length_cm']<2.5), 'sepal_length_cm' ] *=100 #### 接下来观察蓝色离群点,即Iris-setosa,绘制以下图表后发现: #### 其sepal_width_cm异常 iris.loc[iris['species']=='Iris-setosa','sepal_width_cm'].hist() iris.loc[(iris['species']=='Iris-setosa') & (iris['sepal_width_cm']<2.5)] iris.loc[(iris['species']=='Iris-setosa') & (iris['sepal_width_cm']>2.5),'sepal_width_cm'].describe() (2.9-2.3)/2.3 (3.44-2.3)/3.44 #就该异常点来看:(2.9-2.3)%2.3=0.26086956521739135, #它本身就离群中心较远,而且比离他最近的都小了较大的一部分。由于没有具体场景分析调整,所以drop掉 iris = iris.loc[(iris['species'] != 'Iris-setosa') | (iris['sepal_width_cm'] >= 2.5)] iris.loc[iris['species'] == 'Iris-setosa', 'sepal_width_cm'].hist() ; sb.pairplot(iris,hue='species') #### 清洗完数据后就可以保存干净的数据到新的csv文件中了。 iris.to_csv('iris-data-clean.csv', index=False) iris_data_clean = pd.read_csv('iris-data-clean.csv') ## Testing our data # We know that we should only have three classes assert len(iris_data_clean['species'].unique()) == 3 # We know that sepal lengths for 'Iris-versicolor' should never be below 2.5 cm assert iris_data_clean.loc[iris_data_clean['species'] == 'Iris-versicolor', 'sepal_length_cm'].min() >= 2.5 # We know that our data set should have no missing measurements assert len(iris_data_clean.loc[(iris_data_clean['sepal_length_cm'].isnull()) | (iris_data_clean['sepal_width_cm'].isnull()) | (iris_data_clean['petal_length_cm'].isnull()) | (iris_data_clean['petal_width_cm'].isnull())]) == 0 sb.pairplot(iris_data_clean)#没有 hue参数,所以全都是一类,都是同一颜色 ; sb.pairplot(iris_data_clean,hue='species') ; 花瓣的尺寸可以很容易地区分Iris-setosa和其他类型的鸢尾。鉴于Iris-versicolor和鸢尾-virginica的测量值有多少重叠,区分它们将变得更加困难。 花瓣长度和花瓣宽度,以及萼片长度和萼片宽度之间也存在相关性。 田野生物学家向我们保证,这是可以预料的:花瓣越长,往往越宽,萼片也一样。 我们也可以把数据绘制成小提琴图来比较各个班级的测量分布。 plt.figure(figsize=(10, 10)) for column_index, column in enumerate(iris_data_clean.columns): if column == 'species': continue #print('column_index=',column_index) column_index是0序 plt.subplot(2, 2, column_index + 1) sb.violinplot(x='species', y=column, data=iris_data_clean)