pandas 使用chunker 实现分块读取示例 (适用于文件特别大的场景)

代码

#%% 2.2.0 分块读取示例 (适用于文件特别大的场景)

# a. 通过nrows参数, 来设置读取文件的前多少行,
data_train_sample = pd.read_csv(testA_file_path, nrows=5)

#b. 分块读取
#设置chunksize参数，来控制每次迭代数据的大小

chunker = pd.read_csv(testA_file_path, chunksize=5000)
for item in chunker:
    print(type(item)) #<class 'pandas.core.frame.DataFrame'>
    print(len(item)) #5