Pandas使用
pandas预设置
#显示所有列 pd.set_option('display.max_columns', None) #显示所有行 pd.set_option('display.max_rows', None) #设置value的显示长度为100，默认为50 pd.set_option('max_colwidth',100)
pandas数据结构
两个主要的数据结构：Series和DataFrame
Series
Series是一种类似于一维数组的对象，它由一维数组（各种numpy数据类型）以及一组与之相关的数据标签（即索引）组成，仅由一组数据即可产生最简单的Series.
Series的字符串表现形式为：索引在左边，值在右边。如果没有为数据指定索引，于是会自动创建一个0到N-1(N为数据的长度)的整数型索引。可以通过Series的values和index属性获取其数组表现形式和索引对象：
#列表创建Series Series([2,4,7,8,9,3]) #自定义索引 Series([2,4,7,8,9,3],index=['a','b','c','d','e','f']) #利用字典创建Series Series{'l':1,'z':2,'h':3} #自定义索引 Series({dict},index=[list]) #结果则为NaN(即非数字，Not a Number)
两个Series相加会自动根据对应索引值相加
DataFrame
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（公用同一个索引）。跟其他类似的数据结构相比，DataFrame中面向行和面向列的操作基本是平衡的。其实，DataFrame中的数据是以一个或多个二维块存放的（而不是列表、字典或者别的一维数据结构）。
一、生成数据表
1.首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：
import numpy as np import pandas as pd
2、导入CSV或者xlsx文件：
df = pd.DataFrame(pd.read_csv('name.csv',header=1)) df = pd.DataFrame(pd.read_excel('name.xlsx'))
3、用pandas创建数据表：
df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age":[23,44,54,32,34,32],
"category":['100-A','100-B','110-A','110-C','210-A','130-F'],
"price":[1200,np.nan,2133,5433,np.nan,4432]},
columns =['id','date','city','category','age','price'])
二、数据表信息查看
|
DataFrame方法 |
说明 |
|
|
维度查看： |
|
|
数据表基本信息（维度、列名称、数据格式、所占空间等）： |
|
|
每一列数据的格式： |
|
df['B'].dtype |
某一列格式 |
|
|
空值; 查看某一列空值 |
|
df['B'].unique() |
查看某一列的唯一值 |
|
|
查看数据表的值，不带标题，以列表显示 |
|
|
查看列名称 |
|
|
查看前10行数据、后10行数据 |
三、数据表清洗
|
DataFrame方法 |
说明 |
|
df.fillna(value=0) |
用数字0填充空值 |
|
df['prince'].fillna(df['prince'].mean()) |
使用列prince的均值对NA进行填充 |
|
df['city']=df['city'].map(str.strip) |
清除city字段的字符空格： |
|
df['city']=df['city'].str.lower() |
大小写转换 |
|
df['price'].astype('int') |
更改数据格式 |
|
df.rename(columns={'category': 'category-size'}) |
更改列名称 |
|
df['city'].drop_duplicates() |
删除后出现的重复值 |
|
df['city'].drop_duplicates(keep='last') |
删除先出现的重复值 |
|
df['city'].replace('sh', 'shanghai') |
数据替换 |
四、数据预处理
df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})
|
DataFrame方法 |
说明 |
|
df_inner=pd.merge(df,df1,how='inner') |
数据表合并：匹配合并，交集 |
|
df_left=pd.merge(df,df1,how='left') |
数据表合并：左连接 |
|
df_right=pd.merge(df,df1,how='right') |
数据表合并：右连接 |
|
df_outer=pd.merge(df,df1,how='outer') |
数据表合并：匹配合并，交集 |
|
df_inner.set_index('id') |
设置索引列 |
|
df_inner.sort_values(by=['age']) |
按照特定列的值排序 |
|
df_inner.sort_index() |
按照索引列排序 |
|
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low') |
如果prince列的值>3000，group列显示high，否则显示low |
|
df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1 |
对复合多个条件的数据进行分组标记 |
|
pd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size'])) |
对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size |
|
df_inner=pd.merge(df_inner,split,right_index=True, left_index=True) |
将完成分裂后的数据表和原df_inner数据表进行匹配 |
五、数据提取
主要用到的三个函数：loc,iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。
df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)
|
DataFrame方法 |
说明 |
|
df_inner.loc[3] |
按索引提取单行的数值 |
|
df_inner.iloc[0:5] |
按索引提取区域行数值 |
|
df_inner.reset_index() |
重设索引 |
|
df_inner=df_inner.set_index('date') |
设置日期为索引 |
|
df_inner[:'2013-01-04'] |
提取4日之前的所有数据 |
|
df_inner.iloc[:3,:2] |
使用iloc按位置区域提取数据：冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。 |
|
df_inner.iloc[[0,2,5],[4,5]] |
适应iloc按位置单独提起数据：提取第0、2、5行，4、5列 |
|
df_inner.ix[:'2013-01-03',:4] |
使用ix按索引标签和位置混合提取数据：2013-01-03号之前，前四列数据 |
|
df_inner['city'].isin(['beijing']) |
判断city列的值是否为北京 |
|
df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])] |
判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来 |
|
pd.DataFrame(category.str[:3]) |
提取前三个字符，并生成数据表 |
六、数据筛选
使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和。
|
DataFrame方法 |
说明 |
|
df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']] |
使用“与”进行筛选 |
|
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort(['age']) |
使用“或”进行筛选 |
|
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']) |
使用“非”条件进行筛选 |
|
df_inner.query('city == ["beijing", "shanghai"]') |
使用query函数进行筛选 |
|
df_inner.query('city == ["beijing", "shanghai"]').price.sum() |
对筛选后的结果按prince进行求和 |
七、数据汇总
|
DataFrame方法 |
说明 |
|
df_inner.groupby('city').count() |
对所有的列进行计数汇总 |
|
df_inner.groupby('city')['id'].count() |
按城市对id字段进行计数 |
|
df_inner.groupby(['city','size'])['id'].count() |
对两个字段进行汇总计数 |
|
df_inner.groupby('city')['price'].agg([len,np.sum, np.mean]) |
对city字段进行汇总，并分别计算prince的合计和均值 |
八、数据统计
数据采样，计算标准差，协方差和相关系数
|
DataFrame方法 |
说明 |
|
df_inner.sample(n=3) |
简单的数据采样 |
|
weights = [0, 0, 0, 0, 0.5, 0.5] df_inner.sample(n=2, weights=weights) |
手动设置采样权重 |
|
df_inner.sample(n=6, replace=False) |
采样后不放回 |
|
df_inner.sample(n=6, replace=True) |
采样后放回 |
|
df_inner.describe().round(2).T |
数据表描述性统计：T表示转置 |
|
df_inner['price'].std() |
计算列的标准差 |
|
df_inner['price'].cov(df_inner['m-point']) |
计算两个字段间的协方差 |
|
|
数据表中所有字段间的协方差 |
|
|
两个字段的相关性分析：相关系数在-1到1之间，接近1为正相关，接近-1为负相关，0为不相关 |
|
|
数据表的相关性分析 |
九、数据输出
分析后的数据可以输出为xlsx格式和csv格式
|
DataFrame方法 |
说明 |
|
df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc') |
写入Excel |
|
df_inner.to_csv('excel_to_python.csv') |
写入到CSV |
浙公网安备 33010602011771号