工作中常遇到很多ip地址，但连着好几行都是同一个地址，所以如果可以去重的话，效率高很多。
网上查了一下去重程序，分析了下大概结构：读取文件，利用列表判定这一行是否已存在，写入文件。
list01 = []
for i in open("test.txt"):
if i in list01:
continue
list01.append(i)
with open("test01.txt","w") as s:
s.writelines(list01)
