python csv文件处理相关问题及解决方法

1. 由于文件太大,将一个csv文件用linux的splite方法,切分成一个个小文件处理。出现以下问题

IndexError: list index out of range

原因是:splte文件最后一行为空行,可以使用以下命令查询;或者splite把文件切分,出现把一行切到两个文件的问题:

切分文件可参考链接

tail -n 10 t_file000
head -n 10 文件名

使用命令直接删除文件的最后一行

sed -i '$d' file

使用命令直接删除文件第一行

sed -i '1d' filename

 第一行是列名,跳过第一行直接读取

with open('D:/分析数据/a.csv','rt') as csvfile:
    next(csvfile)
    reader = csv.reader(csvfile)

两个List拼凑成一个二维数组

data = list(zip(list1,list2))
data = np.array(data)

 

posted @ 2019-03-20 15:57  O_din  阅读(470)  评论(0编辑  收藏  举报