pd.DataFrame()函数解析

原文链接

DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表。==

简介

  DataFrame的单元格可以存放数值、字符串等,这和excel表很像,同时DataFrame可以设置列名columns与行名index。

1、创建DataFrame

  1.1函数创建

    pandas常与numpy库一起使用,所以通常会一起引用

import pandas as pd
import numpy as np

df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))
print(df1)

#           A         B         C
# a -0.612978  0.237191  0.312969
# b -1.281485  1.135944  0.162456
# c  2.232905  0.200209  0.028671

    其中第一个参数是存放在DataFrame里的数据,第二个参数index就是之前说的行名,第三个参数columns是之前说的列名。

  其中后两个参数可以使用list输入,但是注意,这个list的长度要和DataFrame的大小匹配,不然会报错

df2 = pd.DataFrame(np.random.randn(3, 3), index=list('abcd'), columns=list('ABCD'))
# ValueError: Shape of passed values is (3, 3), indices imply (4, 4)

   当然,这两个参数是可选的,你可以选择不设置,而且这两个list是可以一样的。

df3 = pd.DataFrame(np.random.randn(3, 3), index=list('ABC'), columns=list('ABC'))

#           A         B         C
# A  1.106838  0.309086  0.748472
# B  0.439228 -0.213154 -1.438647
# C  0.292450  0.841237 -0.069207

    1.2直接创建

import pandas as pd
import numpy as np

df4 = pd.DataFrame([[1, 2, 3], 
                    [2, 3, 4],
                    [3, 4, 5]],
                   index=list('abc'), columns=list('ABC'))
print(df4)

#    A  B  C
# a  1  2  3
# b  2  3  4
# c  3  4  5

    1.3字典创建

import pandas as pd
import numpy as np

dic1 = {
    'name': [
        '张三', '李四', '王二麻子', '小淘气'], 'age': [
            37, 30, 50, 16], 'gender': [
                '', '', '', '']}
df5 = pd.DataFrame(dic1)
print(df5)

#    age gender  name
# 0   37      男    张三
# 1   30      男    李四
# 2   50      男  王二麻子
# 3   16      女   小淘气

2 DataFrame属性

  2.1 查看列的数据类型
print(df5.dtypes)

# age        int64
# gender    object
# name      object
# dtype: object
  2.2 查看DataFrame的头尾    

    使用head可以查看前几行的数据,默认的是前5行,不过也可以自己设置。

    使用tail可以查看后几行的数据,默认也是5行,参数可以自己设置。

    比如看前5行。

import pandas as pd
import numpy as np

df6 = pd.DataFrame(np.arange(36).reshape(6, 6), index=list('abcdef'), columns=list('ABCDEF'))
print(df6)
#     A   B   C   D   E   F
# a   0   1   2   3   4   5
# b   6   7   8   9  10  11
# c  12  13  14  15  16  17
# d  18  19  20  21  22  23
# e  24  25  26  27  28  29
# f  30  31  32  33  34  35

print(df6.head())
#     A   B   C   D   E   F
# a   0   1   2   3   4   5
# b   6   7   8   9  10  11
# c  12  13  14  15  16  17
# d  18  19  20  21  22  23
# e  24  25  26  27  28  29

    比如只看前2行。

print(df6.head(2))

#    A  B  C  D   E   F
# a  0  1  2  3   4   5
# b  6  7  8  9  10  11

    比如看后5行。

print(df6.tail())

#     A   B   C   D   E   F
# b   6   7   8   9  10  11
# c  12  13  14  15  16  17
# d  18  19  20  21  22  23
# e  24  25  26  27  28  29
# f  30  31  32  33  34  35

    比如只看后2行。

print(df6.tail(2))

#     A   B   C   D   E   F
# e  24  25  26  27  28  29
# f  30  31  32  33  34  35
  2.3 查看行名与列名

    

print(df6.index)
print(df6.columns)

# Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')
# Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')

  

  2.4 查看数据值

    使用values可以查看DataFrame里的数据值,返回的是一个数组。

print(df6.values)

# [[ 0  1  2  3  4  5]
#  [ 6  7  8  9 10 11]
#  [12 13 14 15 16 17]
#  [18 19 20 21 22 23]
#  [24 25 26 27 28 29]
#  [30 31 32 33 34 35]]

    比如说查看某一列所有的数据值。

print(df6['B'].values)

[ 1  7 13 19 25 31]

    如果查看某一行所有的数据值。使用iloc查看数据值(但是好像只能根据行来查看?),iloc是根据数字索引(也就是行号)。可以看一下博客pandas.iloc()函数解析

print(df6.iloc[0])

# A    0
# B    1
# C    2
# D    3
# E    4
# F    5
# Name: a, dtype: int32
  2.5 查看行列数

    使用shape查看行列数,参数为0表示查看行数,参数为1表示查看列数。

print(df6.shape[0])
print(df6.shape[1])

# 6
# 6
  2.6 切片

    使用冒号进行切片。

print(df6['a':'b'])

#    A  B  C  D   E   F
# a  0  1  2  3   4   5
# b  6  7  8  9  10  11

 

  2.7 索引
print(df6.loc[:,'A':'B'])

#     A   B
# a   0   1
# b   6   7
# c  12  13
# d  18  19
# e  24  25
# f  30  31
  • 切片表示的是行切片
  • 索引表示的是列索引

3 DataFrame操作

  3.1 转置

    直接字母T,线性代数上线。

print(df6.T)

#    a   b   c   d   e   f
# A  0   6  12  18  24  30
# B  1   7  13  19  25  31
# C  2   8  14  20  26  32
# D  3   9  15  21  27  33
# E  4  10  16  22  28  34
# F  5  11  17  23  29  35
  3.2 描述性统计

    使用describe可以对数据根据列进行描述性统计。

print(df6.describe())

#                A          B          C          D          E          F
# count   6.000000   6.000000   6.000000   6.000000   6.000000   6.000000
# mean   15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
# std    11.224972  11.224972  11.224972  11.224972  11.224972  11.224972
# min     0.000000   1.000000   2.000000   3.000000   4.000000   5.000000
# 25%     7.500000   8.500000   9.500000  10.500000  11.500000  12.500000
# 50%    15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
# 75%    22.500000  23.500000  24.500000  25.500000  26.500000  27.500000
# max    30.000000  31.000000  32.000000  33.000000  34.000000  35.000000

    如果有的列是非数值型的,那么就不会进行统计。

    如果想对行进行描述性统计,转置后再进行descr

 

  3.3 计算

    使用sum默认对每列求和,sum(1)为对每行求和。

print(df6.sum())
# A     90
# B     96
# C    102
# D    108
# E    114
# F    120
# dtype: int64

print(df6.sum(1))
# a     15
# b     51
# c     87
# d    123
# e    159
# f    195
# dtype: int64

    数乘运算使用apply。

print(df6.apply(lambda x: x * 2))

#     A   B   C   D   E   F
# a   0   2   4   6   8  10
# b  12  14  16  18  20  22
# c  24  26  28  30  32  34
# d  36  38  40  42  44  46
# e  48  50  52  54  56  58
# f  60  62  64  66  68  70

    乘方运算跟matlab类似,直接使用两个*。

print(df6**2)

#      A    B     C     D     E     F
# a    0    1     4     9    16    25
# b   36   49    64    81   100   121
# c  144  169   196   225   256   289
# d  324  361   400   441   484   529
# e  576  625   676   729   784   841
# f  900  961  1024  1089  1156  1225
  3.4 新增

    扩充列可以直接像字典一样,列名对应一个list,但是注意list的长度要跟index的长度一致。

df6['G']=['999','999','999','999','999','999']
print(df6)

#     A   B   C   D   E   F    G
# a   0   1   2   3   4   5  999
# b   6   7   8   9  10  11  999
# c  12  13  14  15  16  17  999
# d  18  19  20  21  22  23  999
# e  24  25  26  27  28  29  999
# f  30  31  32  33  34  35  999

    还可以使用insert,使用这个方法可以指定把列插入到第几列,其他的列顺延。

df6.insert(0, 'QQ', ['999','999','999','999','999','999'])
print(df6)

#     QQ   A   B   C   D   E   F
# a  999   0   1   2   3   4   5
# b  999   6   7   8   9  10  11
# c  999  12  13  14  15  16  17
# d  999  18  19  20  21  22  23
# e  999  24  25  26  27  28  29
# f  999  30  31  32  33  34  35
  3.5 合并

    使用join可以将两个DataFrame合并,但只根据行列名合并,并且以作用的那个DataFrame的为基准。

# 也就是以df6为基准。
df7 = pd.DataFrame(['my', 'name', 'is', 'a', 'b', 'c'], index=list('abcdef'), columns=list('G'))
df8 = df6.join(df7)
print(df8)

#     A   B   C   D   E   F     G
# a   0   1   2   3   4   5    my
# b   6   7   8   9  10  11  name
# c  12  13  14  15  16  17    is
# d  18  19  20  21  22  23     a
# e  24  25  26  27  28  29     b
# f  30  31  32  33  34  35     c

    但是,join这个方法还有how这个参数可以设置,合并两个DataFrame的交集或并集。参数为’inner’表示交集,'outer’表示并集。

df7 = pd.DataFrame(['2', '6', '7', '19', '44', '77'], index=list('abekld'), columns=list('G'))

df8=df6.join(df7,how='inner')
df9=df6.join(df7,how='outer')
print(df8)
#     A   B   C   D   E   F   G
# a   0   1   2   3   4   5   2
# b   6   7   8   9  10  11   6
# d  18  19  20  21  22  23  77
# e  24  25  26  27  28  29   7

print(df9)
#       A     B     C     D     E     F    G
# a   0.0   1.0   2.0   3.0   4.0   5.0    2
# b   6.0   7.0   8.0   9.0  10.0  11.0    6
# c  12.0  13.0  14.0  15.0  16.0  17.0  NaN
# d  18.0  19.0  20.0  21.0  22.0  23.0   77
# e  24.0  25.0  26.0  27.0  28.0  29.0    7
# f  30.0  31.0  32.0  33.0  34.0  35.0  NaN
# k   NaN   NaN   NaN   NaN   NaN   NaN   19
# l   NaN   NaN   NaN   NaN   NaN   NaN   44

    如果要合并多个Dataframe,可以用list把几个Dataframe装起来,然后使用concat转化为一个新的Dataframe。

df10 = pd.DataFrame([1, 2, 3, 4, 5, 6], 
                    index=list('ABCDEF'), columns=['a'])
df11 = pd.DataFrame([10, 20, 30, 40, 50, 60],
                    index=list('ABCDEF'), columns=['b'])
df12 = pd.DataFrame([100, 200, 300, 400, 500, 600],
                    index=list('ABCDEF'), columns=['c'])
list1 = [df10.T, df11.T, df12.T]
df13 = pd.concat(list1)
print(df13)

#      A    B    C    D    E    F
# a    1    2    3    4    5    6
# b   10   20   30   40   50   60
# c  100  200  300  400  500  600
  3.6 去重
df.drop_duplicates(subset=None,
                   keep='first',
                   inplace=False
                   )

  参数:

  • subset:指定是哪些列重复。
  • keep:去重后留下第几行,{‘first’, ‘last’, False}, default ‘first’},如果是False,则去除全部重复的行。
  • inplace:是否作用于原来的df。
df14 = pd.DataFrame(data=[[1, 2, 3],
                          [1, 2, 4],
                          [1, 2, 4],
                          [1, 2, 3],
                          [1, 2, 5],
                          [1, 2, 5]],
                    index=list('ABCDEF'),
                    columns=['a', 'b', 'c'])
print(df14)

#    a  b  c
# A  1  2  3
# B  1  2  4
# C  1  2  4
# D  1  2  3
# E  1  2  5
# F  1  2  5

    去除重复行,保留重复行中最后一行

df14.drop_duplicates(keep='last')

#    a  b  c
# C  1  2  4
# D  1  2  3
# F  1  2  5

    去除’c’列中有重复的值所在的行

print(df14.drop_duplicates(subset=('c',)))

#    a  b  c
# A  1  2  3
# B  1  2  4
# E  1  2  5

 

posted @ 2020-06-03 20:58  蛮好不太坏  阅读(...)  评论(...编辑  收藏