Python_文本数据去重(有分割符)

import os,sys,datetime
import codecs

output=[]
with open('C:\\Users\\Administrator\\Desktop\\123.txt', 'r') as f:      #读入文本中的文件
    data = f.read()  # txt中所有字符串读入data
    s1=data.split(",")#通过”,“进行分割

lines=s1
for i in lines:
    if i not in output:
        output.append(i)#加入到列表里
        output.append("|")#加入到列表里
with open('b.txt','w',encoding='utf-8') as fp1:#将去重后数据写入到另一个文本里
    for i in output:
        fp1.write(i)
posted @ 2019-12-18 10:43  100天的大太阳  阅读(470)  评论(0)    收藏  举报