[Python学习笔记]导入csv文件后数据偏移的处理方法

背景：处理一个300M大文件，发现excel只能打开1048576行，后面的数据都看不到，用python读取一共有1731158行。

这是excel中数据的表头和内容：

 

而用python打开后的数据是这样的：python把第一列循环序号变为index了，相当于所有的数据都往左移动了一列。

以下是摸索出来的处理方法：

1. 使用reset_index重建索引；

2. 使用shift移动列名；

3. 删除多余的列

 第一步：使用reset_index重建索引，可以看到index列跑到数据中了，此时数据还是对不上的。

第二步：使用shift移动列名，axis=1表示列，periods=1表示移动一个单位，此时数据已经对上了。

第三步：删除多余的'index'列。