2021年1月17日
Pyhton小程序将大文件分割为多个小文件
摘要： 场景 有时遇到处理数据的场景，比如跑的数据是一个文件格式，有可能数量量很大，导致文件很大。 当文件到1GB、10GB或者以上时，首先用vim或者其它编辑器打开会比较慢。 有的时候希望并发处理，将大文件分割为多个小文件，同时在不同节点处理，加快处理速度。 思路 源码文件：split_file.py 输 阅读全文
posted @ 2021-01-17 12:09 cdfive 阅读(301) 评论(0) 推荐(0)