pandas对时间序列中缺失值进行线性插值

一、问题背景

以二氧化碳浓度数据集为例，该时间序列在某些时间点上会有缺失值。

# 读取数据集
df = pd.read_csv('二氧化碳浓度.csv')
# 将字段Datetime数据类型转换为日期类型
df['datetime'] = pd.to_datetime(df['datetime'], format="%Y-%m-%d %H:%M:%S")
df

value	datetime
0	370	2022-04-13 00:11:00
1	375	2022-04-13 00:42:00
2	383	2022-04-13 01:11:00
3	391	2022-04-13 01:41:00
4	397	2022-04-13 02:11:00
...	...	...
583	369	2022-04-23 22:12:00
584	376	2022-04-23 22:41:00
585	379	2022-04-23 23:11:00
586	379	2022-04-23 23:12:00
587	378	2022-04-23 23:41:00

588 rows × 2 columns

该数据集是没个半小时一条数据，若想要填充成10分钟一条数据，就需要进行线性插值。

二、pandas解决方案

下面我们需要生成一个辅助dataframe，命名为helper， 包含所有日期。

# pd.date_range时间序列
# 间隔十分钟
helper = pd.DataFrame({'datetime': pd.date_range(start=df['datetime'].min(), end=df['datetime'].max(),freq='600s')})
# helper = pd.DataFrame(helper).set_index('datetime')#将时间列变为索引

helper:

	datetime
0	2022-04-13 00:11:00
1	2022-04-13 00:21:00
2	2022-04-13 00:31:00
3	2022-04-13 00:41:00
4	2022-04-13 00:51:00
...	...
1577	2022-04-23 23:01:00
1578	2022-04-23 23:11:00
1579	2022-04-23 23:21:00
1580	2022-04-23 23:31:00
1581	2022-04-23 23:41:00

1582 rows × 1 columns

然后再将helper和d join起来

d = pd.merge(df, helper, on='datetime', how='outer').sort_values('datetime')

最后一步就是插值了，直接用interpolate方法，method选择linear，线性插值。

d['value'] = d['value'].interpolate(method='linear')

	value	datetime
0	370.0	2022-04-13 00:11:00
588	NaN	2022-04-13 00:21:00
589	NaN	2022-04-13 00:31:00
590	NaN	2022-04-13 00:41:00
1	375.0	2022-04-13 00:42:00
...	...	...
585	379.0	2022-04-23 23:11:00
586	379.0	2022-04-23 23:12:00
1658	NaN	2022-04-23 23:21:00
1659	NaN	2022-04-23 23:31:00
587	378.0	2022-04-23 23:41:00

1660 rows × 2 columns

插值选择方法不止有线性，还可以是

• nearest：最邻近插值法
• zero：阶梯插值
• slinear、linear：线性插值
• quadratic、cubic：2、3阶B样条曲线插值（详情请参考官方文档）