随笔分类 -  python

摘要：场景：提供了很多个文件，需要对文件分析，如果每次读取多个文件，造成很多麻烦，所以需要对源文件进行合并预处理。支持两种用法：(1)合并某一文件夹下的所有文件(忽略文件夹等非文件条目) (2)显示的合并多文件。 1 import sys 2 import os 3 4 ''' 5 usage(1): merge_files pathname 6 pathname is directory and merge files in pathname directory 7 usage(2): merge_files file1 file2 [file3[..... 阅读全文

摘要：一、使用python自带的hash库hashlib 对于大文件，不能简单的一次载入内存，需要对文件分片不断的update完成（代码中如果文件超过100M，就需要分片了）。具体代码如下： 1 import os 2 import sys 3 import hashlib 4 5 _FILE_SLIM = (100*1024*1024) # 100MB 6 7 8 def file_md5(filename): 9 calltimes = 010 hmd5 = hashlib.md5()11 fp = open(filename,"rb")12 f_size ... 阅读全文