【数据处理】Polars rechunk 减少内存碎片
摘要：
其他数据的数据量小且文件少，但是DCLM（563B）的数据文件数量多，占用空间的总量大。出现两个问题：内存碎片，内存不足。 内存碎片是因为文件数量太多：接近一万份文件，虽然每份文件只有五千条数据，文件可能只有十几兆，但是为了统计数量，出现了太多内存碎片。 import polars as pl df 阅读全文
posted @ 2025-08-06 08:00 马儿慢些走 阅读(72) 评论(0) 推荐(0)
浙公网安备 33010602011771号