文件查重

硬盘上积累了太多的文件，主要是有很多图片重复了。

先来查重文件吧。

 

df=pd.DataFrame()
fps,hashcodes=[],[]
for parent,dirs,files in os.walk(os.getcwd()):
     for file in files:
         fp=os.path.join(parent,file)
         with open(fp,'rb') as f:
             a=f.read()
             fps.append(fp)
             hashcodes.append(hash(a))
df=pd.DataFrame({'filepath':fps,'hashcode':hashcodes})