快速入门pandas

import pandas as pd
import numpy as np

导入数据

  • pd.read_csv(filename,dtype=str):从CSV文件导入数据
  • [header=1,delim_whitespace=True,delimiter="\t",parse_dates=['OCC_TIM'],error_bad_lines=False,quoting=csv.QUOTE_NONE,encoding='gbk',dtype=str]
  • pd.read_excel(filename):从Excel文件导入数据
  • pd.read_sql(query, connection_object):从SQL表/库导入数据
  • pd.read_json(json_string):从JSON格式的字符串导入数据
  • pd.DataFrame(dict):从字典对象导入数据,Key是列名,Value是数据
 f=open("aaa.csv",encoding="GB2312",errors ='ignore')
    # data = f.read()
    # print(chardet.detect(data))    #检测编码
    df=pd.read_csv(f,low_memory=False)

导出数据

  • df.to_csv(filename,index=False):导出数据到CSV文件
  • df.to_sql(table_name, connection_object):导出数据到SQL表
  • df.to_json(filename,orient='index'):以Json格式导出数据到文本文件

创建测试对象

  • df =pd.DataFrame(np.random.rand(20,5)):创建20行5列的随机数组成的DataFrame对象
  • df = pd.DataFrame({'A':[...],"B":[...]})
  • pd.Series(my_list):从可迭代对象my_list创建一个Series对象

查看、检查数据

  • df.columns:查看DataFrame对象的l列名
  • df.head(n):查看DataFrame对象的前n行
  • df.tail(n):查看DataFrame对象的最后n行
  • df.shape():查看行数和列数
  • :查看索引、数据类型和内存信息
  • df.describe():查看数值型列的汇总统计
  • s.value_counts(dropna=False):查看Series对象的唯一值和计数
  • df.apply(pd.Series.value_counts):查看DataFrame对象中每一列的唯一值和计数
  • df[col].unique():  唯一值

数据选取

  • df[col]  、df.col:根据列名,并以Series的形式返回列
  • df[[col1, col2]]:以DataFrame形式返回多列
  • s.iloc[0]:按位置选取数据
  • s.loc['index_one']:按索引选取数据
  • df.iloc[0,:]:返回第一行
  • df.iloc[0,0]:返回第一列的第一个元素
  • df.sample(n=3) :抽样

数据清理

  • 空值处理
  • pd.isnull():检查DataFrame对象中的空值,并返回一个Boolean数组
  • pd.notnull():检查DataFrame对象中的非空值,并返回一个Boolean数组
  • df.dropna():删除所有包含空值的行
  • df.dropna(axis=1):删除所有包含空值的列
  • df.fillna(x):用x替换DataFrame对象中所有的空值
  • 列名重命名
  • df.columns = ['a','b','c']:重命名列名
  • df.rename(columns=lambda x: x + 1):批量更改列名
  • df.rename(columns={'old_name': 'new_ name'},inplace = True):选择性更改列名
  • 数据替换
  • df[col].astype(float):将Series中的数据类型更改为float类型
  • s.replace(1,'one'):用‘one’代替所有等于1的值
  • s.replace([1,3],['one','three']):用'one'代替1,用'three'代替3
  • 索引处理
  • df.set_index('column_one'):更改索引列
  • df.rename(index=lambda x: x + 1):批量重命名索引
  • 去重
  • df['city'].drop_duplicates()  删除后出现的重复值
  • df['city'].drop_duplicates(keep='last')   删除先出现的重复值
  • df.drop_duplicates(subset=['level','bbb'],keep='last',inplace=True)

数据处理:Filter、Sort、GroupBy

  • 筛选数据
  • df[df[col] > 0.5]:选择col列的值大于0.5的行
  • df[df['city'].isin(['beijing','shanghai']]
  • 排序
  • df.sort_values(col1):按照列col1排序数据,默认升序排列
  • df.sort_values(col2, ascending=False):按照列col1降序排列数据
  • df.sort_values([col1,col2], ascending=[True,False]):先按列col1升序排列,后按col2降序排列数据
  • 分组统计
  • df.groupby(col):返回一个按列col进行分组的Groupby对象
  • df.groupby([col1,col2]):返回一个按多列进行分组的Groupby对象
  • df.groupby(col1)[col2]:返回按列col1进行分组后,列col2的均值
  • df.groupby(col1).agg(np.mean):返回按列col1分组的所有列的均值
  • data.apply(np.mean):对DataFrame中的每一列应用函数np.mean
  • data.apply(np.max,axis=1):对DataFrame中的每一行应用函数np.max

数据合并、关联

  • df1.append(df2):将df2中的行添加到df1的尾部
  • df.concat([df1, df2]) 将df2中的行添加到df1的尾部
  • df3 = df1.merge(df2, on='id')
  • result = pd.merge(left, right, how='left', on=['key1', 'key2'])

 

数据统计

  • df.describe():查看数据值列的汇总统计
  • df.mean():返回所有列的均值
  • df.corr():返回列与列之间的相关系数
  • df.size()
  • df.count():返回每一列中的非空值的个数
  • df[col].value_counts()
  • df.max():返回每一列的最大值
  • df.min():返回每一列的最小值
  • df.median():返回每一列的中位数
  • df.std():返回每一列的标准差

新建列赋值

  • df['group'] = np.where(df['price'] > 3000,'high','low')
  • df.loc[(df_inner['city'] == 'beijing') & (df['price'] >= 4000), 'sign']=1
  • df["lng"]=df.apply(bd09togcj02_lng, axis = 1)

参考:

Pandas速查手册中文版

posted @ 2018-10-25 00:03 hqium 阅读(...) 评论(...) 编辑 收藏