如何批量读取指定文件夹下的csv文件,并转换成dataframe?
import pandas as pd
import os
os.chdir("C:/Users/.../Desktop/googleTrends/美国/")
file_chdir = os.getcwd()
filecsv_list = []
for root,dirs,files in os.walk(file_chdir):
for file in files:
if os.path.splitext(file)[1] == '.csv':
#os.path.splitext("abc.csv")[1]='.csv'
filecsv_list.append(file)
data = pd.DataFrame()
for csv in filecsv_list:
data = data.append(pd.read_csv(csv,header = 1,sep=',',encoding="utf8").iloc[:,1])
data = data.T
data.insert(0,'date',pd.read_csv(csv,header = 1,sep=',',encoding="utf8").iloc[:,0])
walk()方法语法格式如下:
os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])
参数
- top -- 是你所要遍历的目录的地址, 返回的是一个三元组(root,dirs,files)。
- root 所指的是当前正在遍历的这个文件夹的本身的地址
- dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
- files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
- topdown --可选,为 True,则优先遍历 top 目录,否则优先遍历 top 的子目录(默认为开启)。如果 topdown 参数为 True,walk 会遍历top文件夹,与top 文件夹中每一个子目录。
- onerror -- 可选,需要一个 callable 对象,当 walk 需要异常时,会调用。
- followlinks -- 可选,如果为 True,则会遍历目录下的快捷方式(linux 下是软连接 symbolic link )实际所指的目录(默认关闭),如果为 False,则优先遍历 top 的子目录。