char-8 

  1. # -*- coding: utf-8 -*-
  2. """
  3. Created on Tue Feb 21 22:07:13 2017
  5. @author: zzpp220
  6. """
  8. from pandas import DataFrame,Series
  9. from numpy import nan as NaN
  10. import pandas as pd
  11. import numpy as np
  13. df=DataFrame({'k1':list('aabba'),'k2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
  14. #分组键为Ｓｅｒｉｅｓ对象
  15. grouped=df.groupby('k1')
  16. desc_group=grouped.describe()
  17. grouped_1=df['data1'].groupby([df['k1'],df['k2']]).sum()##group 是一个series对象
  18. ## 有多重索引的Series和ＤａｔａＦｒａｍｅ中的相互转变
  19. ##分组键为ｇｒｏｕｐｂｙ前面对象中的列名
  20. df.groupby(['k1','k2']).sum().unstack()
  21. df.groupby(['k1','k2']).sum().unstack().stack([0,1])
  22. ##粉组件是任何长度适当的数组
  23. states=np.array(['sd','gd','sd','fj','fj'])
  24. year=np.array([2005,2006,2005,2005,2006])
  25. df.groupby([states,year]).mean()
  28. ##GroupBy 对象的数据聚合　按照不同的的聚合函数聚合
  29. tips=pd.read_csv('/media/zzpp220/Data/Linux_Documents/DOWNLOAD/python-DataAnalysis/pydata-book-master/ch08/tips.csv')
  30. tips['tip_pct']=tips['tip']/tips['total_bill']
  32. gro_tips=tips.groupby(['sex','smoker'])
  34. #对聚合后的１列应用１个聚合函数：
  35. gro_tips['tip_pct'].mean()
  36. gro_tips['tip_pct'].agg('mean')##同上，只不过是把函数名用字符串的形似传入
  37. #对聚合后的１列应用多个聚合函数：
  38. gro_tips['tip_pct'].agg(['mean','std','var'])##传入一组函数名，得到DataFrame的列就会以相应的函数命名
  39. gro_tips['tip_pct'].agg([('avg','mean'),('vag','std'),('gav','var')])#按照(name.funciton)传入二元元祖列表,返回的表的各列名是元祖第一个元素
  40. '''
  41. gro_tips['tip_pct'].mean()
  42. Out[94]: 
  43. sex     smoker
  44. Female  No        0.156921
  45.         Yes       0.182150
  46. Male    No        0.160669
  47.         Yes       0.152771
  48. Name: tip_pct, dtype: float64
  50. gro_tips['tip_pct'].agg(['mean','std','var'])
  51. Out[98]: 
  52.                    mean       std       var
  53. sex    smoker                              
  54. Female No      0.156921  0.036421  0.001327
  55.        Yes     0.182150  0.071595  0.005126
  56. Male   No      0.160669  0.041849  0.001751
  57.        Yes     0.152771  0.090588  0.008206
  59. gro_tips['tip_pct'].agg([('avg','mean'),('vag','std'),('gav','var')])
  60. Out[99]: 
  61.                     avg       vag       gav
  62. sex    smoker                              
  63. Female No      0.156921  0.036421  0.001327
  64.        Yes     0.182150  0.071595  0.005126
  65. Male   No      0.160669  0.041849  0.001751
  66.        Yes     0.152771  0.090588  0.008206
  67. '''
  68. ##设计对表中的多个列应用同样的多个函数
  69. ## 对'tip_pct','total_bill'　分别计算functions中的三个统计信息
  70. functions=['count','mean','max']
  71. asix=[('name1','count'),('name2','mean'),('name3','max')]
  72. result=gro_tips['tip_pct','total_bill'].agg(functions)
  73. asix_result=gro_tips['tip_pct','total_bill'].agg(asix)
  74. '''
  75. result
  77. Out[102]: 
  78.               tip_pct                     total_bill                  
  79.                 count      mean       max      count       mean    max
  80. sex    smoker                                                         
  81. Female No          54  0.156921  0.252672         54  18.105185  35.83
  82.        Yes         33  0.182150  0.416667         33  17.977879  44.30
  83. Male   No          97  0.160669  0.291990         97  19.791237  48.33
  84.        Yes         60  0.152771  0.710345         60  22.284500  50.81
  85.        
  86.        
  87. asix_result
  89. Out[105]: 
  90.               tip_pct                     total_bill                  
  91.                 name1     name2     name3      name1      name2  name3
  92. sex    smoker                                                         
  93. Female No          54  0.156921  0.252672         54  18.105185  35.83
  94.        Yes         33  0.182150  0.416667         33  17.977879  44.30
  95. Male   No          97  0.160669  0.291990         97  19.791237  48.33
  96.        Yes         60  0.152771  0.710345         60  22.284500  50.81       
  97.        
  98.        如上表，result拥有层次化的列，这相当于对各列应用不同的聚合函数后，再分别进行聚合，然后用concat进行聚合。
  99. '''
  100. ##`对多个不同的列应用不同的函数，传入列名和带应用函数名的字典
  101. map={'tip_pct':['min','max','mean','std'],'size':'sum',}
  102. diff_to_diff=gro_tips.agg(map)
  104. ''' diff_to_diff
  105. Out[109]: 
  106.                 tip_pct                               size
  107.                     min       max      mean       std  sum
  108. sex    smoker                                             
  109. Female No      0.056797  0.252672  0.156921  0.036421  140
  110.        Yes     0.056433  0.416667  0.182150  0.071595   74
  111. Male   No      0.071804  0.291990  0.160669  0.041849  263
  112.        Yes     0.035638  0.710345  0.152771  0.090588  150
  113. '''
  114. #－－－－－－－－－－－－－apply 函数，返回一个pandas对象或者标量值－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
  115. '''定义函数得到表df按照列名为columｎ的升序排序后的结果，选出最大５个tip_pct所在的行‘'''
  116. def top(df,n=5,column='tip_pct'):#按照
  117.     return df.sort_index(by=column)[-n:]
  118.     
  119. top_col=top(tips,n=6)
  120. tips.groupby('smoker').apply(top,n=3)##返回一个层次化索引的dataframe
  121. tips.groupby('smoker')['tip_pct'].describe().unstack(0)
  123. test2=DataFrame(np.arange(24).reshape(6,4),index=['row_1', 'row_2', 'row_3', 'row_4', 'row_5', 'row_6'],columns=['col_1','col_2','col_3', 'col_4'])
  124. test2['smoker']=Series(['no','yes','no','yes','yes','yes'],index=['row_1', 'row_2', 'row_3', 'row_4', 'row_5', 'row_6'])
  125. test2=test2.rename_axis({'col_1':'tip_pct'},axis=1)
  126. test2['tip_pct']=[2,5,4,1,2,6]#
  127. test2['col_2']=[7,8,5,-1,4,6]
  128. test2.groupby('smoker').apply(top,n=3)##在groupby对象上调用apply,返回一个层次化索引的dataframe
  129. test2.groupby('smoker').apply(top,n=3).unstack()
  130. ##如果不想要层次化的索引，可以把分组键禁止掉
  131. test2.groupby('smoker',group_keys=False).apply(top,n=3)
  133. ''' 
  134. 将tips按找smoker分组，对于每一个组内都应用top 函数，应用完成后，将各个组的应用结果concat起来
  135. 返回的结果就有了一个层次化的索引，内层的索引就是tip中原来的　索引值
  136. total_bill   tip     sex smoker   day    time  size   tip_pct
  137. smoker                                                                   
  138. No     51        10.29  2.60  Female     No   Sun  Dinner     2  0.252672
  139.        149        7.51  2.00    Male     No  Thur   Lunch     2  0.266312
  140.        232       11.61  3.39    Male     No   Sat  Dinner     2  0.291990
  141. -------------------------------------------------------------------------------concat---------------
  142. Yes    67         3.07  1.00  Female    Yes   Sat  Dinner     1  0.325733
  143.        178        9.60  4.00  Female    Yes   Sun  Dinner     2  0.416667
  144.        172        7.25  5.15    Male    Yes   Sun  Dinner     2  0.710345
  145.        
  146. test2.groupby('smoker').apply(top,n=3):
  147. tip_pct  col_2  col_3  col_4 smoker
  148. smoker                                           
  149. no     row_1        2      7      2      3     no
  150.        row_3        4      5     10     11     no
  151. -----------------------------------------------------------concat-------------------------
  152. yes    row_5        2      4     18     19    yes
  153.        row_2        5      8      6      7    yes
  154.        row_6        6      6     22     23    yes
  155.        
  156. test2.groupby('smoker',group_keys=False).apply(top,n=3):
  157.        tip_pct  col_2  col_3  col_4 smoker
  158. row_1        2      7      2      3     no
  159. row_3        4      5     10     11     no
  160. row_5        2      4     18     19    yes
  161. row_2        5      8      6      7    yes
  162. row_6        6      6     22     23    yes   
  164.        
  165. 用特定于分组的值填充缺失值：       '''
  166. s=Series(np.random.rand(6))
  167. s[::2]=np.nan#步长为２
  168. '''
  169. s:
  170. 0         NaN
  171. 1    0.654905
  172. 2         NaN
  173. 3    0.475528
  174. 4         NaN
  175. 5    0.269656
  176. dtype: float64
  178. s.fillna(s.mean())
  179. Out[208]: 
  180. 0    0.466696
  181. 1    0.654905
  182. 2    0.466696
  183. 3    0.475528
  184. 4    0.466696
  185. 5    0.269656
  186. dtype: float64
  187. '''
  188. s.fillna(s.mean())      


posted on 2017-02-28 22:15  zx0801  阅读(502)  评论(0)    收藏  举报
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3