1-python合并多张excel

 之前是一张一张read之后再concat,1M的文件差不多要读3-4分钟,网上查了很多方法,这种代码量少,合并起来更快,差不多30秒:

import os
import pandas as pd
import numpy as np
dir = 'E:/数据处理'
filename_excel = []
frames = []
for root, dirs, files in os.walk(dir):
    for file in files:
        filename_excel.append(os.path.join(root, file))
        df = pd.read_excel(os.path.join(root,file))
        frames.append(df)
print(filename_excel)
result = pd.concat(frames)
result.to_csv('E:/数据成果/数据成果1.csv',encoding='gbk',sep=',',index=False)

这里有一个缺陷,只能合并每张excel表的第一张sheet

另外python转csv容易出现中文乱码,用encoding保证编码的一致性

posted @ 2020-07-13 15:38  oldfashion  阅读(80)  评论(0)    收藏  举报