pandas的读书报告:
Pandas简介:
表格容器 pandas 是基于NumPy 的一种工具,改工具是为了解决数据分析任务而创建的。
Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。
pandas提供了大量快速便捷地处理数据的函数和方法。使Python成为强大而高效的数据分析环境的重要因素之一。
一、生成数据表
1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:
1 import numpy as np 2 import pandas as pd
2、导入CSV或者xlsx文件:
1 df = pd.DataFrame(pd.read_csv('name.csv',header=1)) 2 df = pd.DataFrame(pd.read_excel('name.xlsx'))
3、用pandas创建数据表:
1 df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 2 "date":pd.date_range('20130102', periods=6), 3 "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], 4 "age":[23,44,54,32,34,32], 5 "category":['100-A','100-B','110-A','110-C','210-A','130-F'], 6 "price":[1200,np.nan,2133,5433,np.nan,4432]}, 7 columns =['id','date','city','category','age','price'])
二、数据表清洗
1、用数字0填充空值:
1 df.fillna(value=0)
2、使用列prince的均值对NA进行填充:
1 df['prince'].fillna(df['prince'].mean())
3、清楚city字段的字符空格:
1 df['city']=df['city'].map(str.strip)
4、大小写转换:
1 df['city']=df['city'].str.lower()
5、删除后出现的重复值:
1 df['city'].drop_duplicates()
6、数据替换:
1 df['city'].replace('sh', 'shanghai')
三、数据统计
数据采样,计算标准差,协方差和相关系数
1、简单的数据采样
1 df_inner.sample(n=3)
2、手动设置采样权重
1 weights = [0, 0, 0, 0, 0.5, 0.5] 2 df_inner.sample(n=2, weights=weights)
3、采样后不放回
1 df_inner.sample(n=6, replace=False)
4、采样后放回
1 df_inner.sample(n=6, replace=True)
四、数据输出
分析后的数据可以输出为xlsx格式和csv格式
1、写入Excel
1 df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc')
2、写入到CSV
1 df_inner.to_csv('excel_to_python.csv')
浙公网安备 33010602011771号