如何批量读取指定文件夹下的csv文件,并转换成dataframe?

import pandas as pd
import os

os.chdir("C:/Users/.../Desktop/googleTrends/美国/")
file_chdir = os.getcwd()

filecsv_list = []
for root,dirs,files in os.walk(file_chdir):
    for file in files:
        if os.path.splitext(file)[1] == '.csv':
        #os.path.splitext("abc.csv")[1]='.csv'
            filecsv_list.append(file)
        
data = pd.DataFrame()
for csv in filecsv_list:
    data = data.append(pd.read_csv(csv,header = 1,sep=',',encoding="utf8").iloc[:,1])
data = data.T
data.insert(0,'date',pd.read_csv(csv,header = 1,sep=',',encoding="utf8").iloc[:,0])

walk()方法语法格式如下:

os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])

参数

  • top -- 是你所要遍历的目录的地址, 返回的是一个三元组(root,dirs,files)。
    • root 所指的是当前正在遍历的这个文件夹的本身的地址
    • dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
    • files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
  • topdown --可选,为 True,则优先遍历 top 目录,否则优先遍历 top 的子目录(默认为开启)。如果 topdown 参数为 True,walk 会遍历top文件夹,与top 文件夹中每一个子目录。
  • onerror -- 可选,需要一个 callable 对象,当 walk 需要异常时,会调用。
  • followlinks -- 可选,如果为 True,则会遍历目录下的快捷方式(linux 下是软连接 symbolic link )实际所指的目录(默认关闭),如果为 False,则优先遍历 top 的子目录。
posted @ 2021-03-23 21:00  unuliha  阅读(811)  评论(0)    收藏  举报