2022年8月1日
Python学习笔记：循环读取多个文件保存为数据框并合并
摘要： 源于生产上有多个零碎的 HDFS 小文件需要通过 Python 进行读取，遂产生需求。 屡经测试，除去真正 pd.read_csv 读取数据时间无法避免之外，一边读取数据存储为临时变量，一边进行 pd.concat 合并也造成大量开销。 # 读取数据 data = pd.DataFrame() fo 阅读全文
posted @ 2022-08-01 17:22 Hider1214 阅读(1234) 评论(0) 推荐(1) 编辑