pandas 处理缺失值

Pandas中的缺失值是指nan、None和NaT。如果需要把inf 和 -inf视为缺失值，需要设置 pandas的选项：

pandas.options.mode.use_inf_as_na = True

注意，None和None是相等的，但是缺失值和其他任何值（包括缺失值）是不相等的。

>>> None==None
True
>>> np.nan == np.nan
False

一，检测缺失值

检测缺失值的函数是isna()和notna()，在DataFrame和Series对象中也有这两个函数，这两个函数返回的结果都是布尔类型，是原始对象的掩码索引数组：

pandas.isna(obj)
pandas.notna(obj)

举个例子，创建一个ndarray数组，使用pd.isna()来检测该数组中的缺失值：

>>> array = np.array([[1, np.nan, 3], [4, 5, np.nan]])>>> pd.isna(array)
array([[False,  True, False],
       [False, False,  True]])

二，删除缺失值

对于DataFrame而言，缺失值可能存在于某一个行的某一列中，在删除缺失值时，通常情况下，需要把一整行的数据都删除。当某一列出现的缺失值过多时，通常考录把该列整体删除。

DataFrame.dropna(self, axis=0, how='any', thresh=None, subset=None, inplace=False)

参数注释：

• axis：轴，默认值是0，axis=0或'index'表示行，axis=1或'columns'表示列，当轴包含缺失值时，删除该轴（一行或一列）。
• how：有效值是any和all，any表示只要行或列中出现缺失值，就删除该轴；all表示只有当行或列中的元素都是缺失值时，才删除该轴。
• thresh：设置一行或一列中非缺失值的阈值，当大于该阈值时，该轴不会被删除。
• subset：在subset中指定的列或行中查找缺失值
• inplace：如果设置为True，那么替换原始的DataFrame对象，返回None。

三，填充缺失值

把出现缺失值的位置称作一个hole（空洞），当某一列中出现的缺失值较少时，可以考虑填充缺失值。

DataFrame.fillna(self, value=None, method=None, axis=None, inplace=False, limit=None, **kwargs)

参数注释：

• value：用作填充的值
• method：填充的方法，有效值是：‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None
• limit：如果指定method，那么limit表示在向前或向后寻找有效值的过程中，遇到的连续NaN的最大数量，换句话说，如果空洞向前或向后存在连续的NaN数量大于该阈值，该空洞不会被填充。如果未指定method，那么limit是填充的NaN的最大数量。

填充的方法主要是回填和补填，回填（‘backfill’, ‘bfill’）是指用空洞下一个有效值来填充空洞；补填（‘pad’, ‘ffill’）是指用空洞之前的一个有效值来填充空洞。也就是说，用空洞前后的有效值来填充空洞。

举个例子，在补填缺失值时，设置一列中连续空洞的数量不要超过2个，当连续空洞的数量超过2时，只填充第一个空洞。

In [47]: df
Out[47]: 
   one       two     three
a  NaN -0.282863 -1.509059
c  NaN  1.212112 -0.173215
e  NaN       NaN       NaN
f  NaN       NaN       NaN
h  NaN -0.706771 -1.039575

In [48]: df.fillna(method='pad', limit=1)
Out[48]: 
   one       two     three
a  NaN -0.282863 -1.509059
c  NaN  1.212112 -0.173215
e  NaN  1.212112 -0.173215
f  NaN       NaN       NaN
h  NaN -0.706771 -1.039575

四，使用插补法填充缺失值

fillna()函数使用简单的方法来填充缺失值，插补法是比fillna()函数高级的填充方法。

DataFrame.interpolate(self, method='linear', axis=0, limit=None, inplace=False, limit_direction='forward', limit_area=None, **kwargs)

参数注释：

• method：插补的方法
• limit：表示在向前或向后寻找有效值的过程中，遇到的连续NaN的最大数量，换句话说，如果空洞向前或向后存在连续的NaN数量大于该阈值，该空洞不会被填充。
• limit_direction ：当limit指定时，有效值是‘forward’, ‘backward’, ‘both’，表示按照该方向填充连续的NaN
• limit_area ：当limit指定时，有效值是None,'inside', 'outside'，None表示没有填充限制，inside表示NaN被有效值环绕，NaN在中心，有效值在外围，利用有效值向内推测有效值；outside表示有效值被Nan环绕，有效值在中心，而NaN在有效值的外围，利用有效值向外推测有效值。

插补的方法有很多，简单的插补方法有：

• linear：线性插补，把数据值看作是等间距的，把空洞或连续空洞两端的有效值均匀分割成n+1份，n是空洞或连续空洞的数量。
• time：按照时间间隔来填充数据，常用的时间间隔是day
• pad：回填，利用现有的值来填充缺失值
• 复杂的插补算法需要使用scipy包。

 

参考文档：

SciPy documentation

SciPy tutorial.

Working with missing data