python 简单的实现文件内容去重

 

文件去重

这里主要用的是set()函数，特别地，set中的元素是无序的，并且重复元素在set中自动被过滤。

具体代码如下：

// 文件去重
　　#!/usr/bin/env python 
　　# -*- coding:utf-8 -*-
　　# 
　　# author  g7y12
　　#

　　file_list = []  #创建一个空列表
　　def out_file():
    　　#file_2 = open_file()
    　　file = "data.txt"    #打开需要去重的文件
    　　with open(file, "r", encoding="utf-8") as f:
        　　file_2 = f.readlines()
        　　for file in file_2:
            　　file_list.append(file)
        　　out_file1 = set(file_list)    #set()函数可以自动过滤掉重复元素
        　　last_out_file = list(out_file1)
        　　for out in last_out_file:
           　　 with open("result.txt","a+",encoding="utf-8") as f:   #去重后文件写入文件里
                　　f.write(out+"\n")
                　　print(out)

　　if __name__ =="__main__":
    　　out_file()

小结：set()去重后，元素顺序变了，如果文件不考虑去重后的顺序的话，可以用此种方法，简单快捷