pandas：聚合统计、数据分箱、分组可视化

1、聚合统计

1.1描述统计

df.describe(),对数据的总体特征进行描述

df.groupby('team').describe()

df.groupby('team').describe().T #列数太多，进行转置

1.2统计函数

对分组对象直接使用统计函数，分组内数据进行计算，返回df形式的数据

计算平均数

df.groupby('team').mean()

相关性系数

df.groupby('team').corr()

每组的累计最大值

df.groupby('team').cummax()

1.3聚合方法agg（）

将分组后的对象给定统计方法，支持按字段分别给定不同的统计方法

所有列使用一个计算方法

df.groupby('team').agg(sum)

df.groupby('team').agg(np.size)

一个字段使用多种统计方法，不同字段使用不同表达

grouped = df.groupby("team")
grouped[['Q1','Q2']].agg([np.sum,np.mean,np.std])

不同列使用不同计算方法，且一个列用多个计算方法

df.groupby("team").agg({'Q1':['min','max'],'Q2':['sum']})

agg（）可以指定新列的名字,新列的名字为Mean，Sum

grouped.Q1.agg(Mean='mean',Sum='sum')

Mean为Q1计算平均值，Sum为Q2计算和。

grouped.agg(Mean=('Q1','mean'),Sum=('Q2','sum'))

如果列名不是有效的Python变量格式 比如列名是‘1_max’

grouped.agg(**{'1_max':pd.NamedAgg(column='Q1',aggfunc='max')})

使用函数，分别传入每个分组的子df，按子df把这组所有的列组成的序列传到函数里进行计算，返回固定值

lambda函数，所有方法都可以使用

def max_min(x):
return x.max()-x.min()

df.groupby('team').Q1.agg(Mean='mean',
Sum='sum',
Diff=lambda x: x.max()-x.min(),
Max_min=max_min)

1.4时序重采样resample（）

针对时间序列数据，resample（）将分组后的时间索引按周期进行聚合统计

创建一组数据：

idx = pd.date_range('5/21/2022',periods=100,freq='T')
df2 = pd.DataFrame(data={'a':[0,1]*50,'b':1},index=idx)
df2

索引为一个时序数据，按a列进行分组，按每20min对b进行求和

df2.groupby('a').resample('20T').sum()

df2.groupby('a').sum()

以右边时间点为标识

df2.groupby('a').resample('3T',closed='right').sum()

按月份为周期采样

df2.groupby('a').resample('M').sum()

1.5组内头尾值

所有组的第一个值

df.groupby('team').first()

最后一个值

grouped.last()

1.6组内分位数

二分位数

grouped.quantile(0.5)
grouped.median()

1.7组内差值

grouped[['Q1','Q2','Q3','Q4']].diff().head(10)

2、数据分箱

数据分箱将原始数据分成几个小区间，即bin（小箱子）

落入给定区间的原始数据值 被 代表该区间的值 替换
可以有助于减少过拟合，平滑输入数据
pd.cut :指定分界点 pd.qcut :指定区间数量，等宽分箱处理

2.1定界分箱

pd.cut指定区间，将数字进行划分

将Q1成绩按0，60，100

pd.cut(df.Q1,bins=[0,60,100])

'''
0 (60, 100] 1 (0, 60] 2 (0, 60] 3 (60, 100] 4 (60, 100] ... 95 (0, 60] 96 (0, 60] 97 (60, 100] 98 (0, 60] 99 (0, 60] Name: Q1, Length: 100, dtype: category Categories (2, interval[int64]): [(0, 60] < (60, 100]]
'''

将分箱结果应用到groupby分组

df.Q1.groupby(pd.cut(df.Q1,bins=[0,60,100])).count()

'''
Q1 (0, 60] 57 (60, 100] 43 Name: Q1, dtype: int64
'''

DateFrame使用

df.groupby(pd.cut(df.Q1,bins=[0,60,100])).count()

显示了每个分组的数据

pd.cut(df.Q1,bins=[0,60,100],labels=['不及格','及格'])

pd.cut(df.Q1,bins=[0,60,100],labels=['不及格','及格']).count()

'''
0 及格 1 不及格 2 不及格 3 及格 4 及格 ... 95 不及格 96 不及格 97 及格 98 不及格 99 不及格 Name: Q1, Length: 100, dtype: category Categories (2, object): ['不及格' < '及格']
'''

2.2等宽分箱

按Q1成绩分为两组

pd.qcut(df.Q1,q=2)

'''
0 (51.5, 98.0] 1 (0.999, 51.5] 2 (51.5, 98.0] 3 (51.5, 98.0] 4 (51.5, 98.0] ... 95 (0.999, 51.5] 96 (0.999, 51.5] 97 (51.5, 98.0] 98 (0.999, 51.5] 99 (0.999, 51.5] Name: Q1, Length: 100, dtype: category Categories (2, interval[float64]): [(0.999, 51.5] < (51.5, 98.0]]
'''

查看分组区间

pd.qcut(df.Q1,q=2).unique()

'''
[(51.5, 98.0], (0.999, 51.5]] Categories (2, interval[float64]): [(0.999, 51.5] < (51.5, 98.0]]
'''

应用到分组中：

series使用

df.Q1.groupby(pd.qcut(df.Q1,q=2)).count()

'''
Q1 (0.999, 51.5] 50 (51.5, 98.0] 50 Name: Q1, dtype: int64
'''

DateFrame使用

df.groupby(pd.qcut(df.Q1,q=2)).count()

指定标签名

pd.qcut(range(5),3,labels=['good','medium','bad'])

'''
['good', 'good', 'medium', 'bad', 'bad'] Categories (3, object): ['good' < 'medium' < 'bad']
'''

返回箱子标签

pd.qcut(df.Q1,q=2,retbins=True)

3、分组可视化

3.1绘图方法

分组，设置索引为name

grouped = df.set_index('name').groupby('team')
grouped.plot()

3.2直方图hist（）

绘制直方图

grouped.hist()

3.3箱线图boxplot（）

分组箱线图

grouped.boxplot(figsize=(15,12))

分组箱线图,按team分组并返回箱线图

df.boxplot(by='team',figsize=(15,10))