再用python写一个文本处理的东东

朋友遇到一点麻烦,我自告奋勇帮忙。事情是这样的:

- 他们的业务系统中,数据来自一个邮箱;

- 每一个邮件包含一条记录;

- 这些记录是纯文本的,字段之间由一些特殊字符分隔;

- 他们需要从邮箱中批量取出每一封邮件,放到一个excel文件中。

 

这些对python来说,真是小菜一碟。(事后证明,还是有些小坑,让我头疼了好一会儿。)

因为是初学者,没有必要从python2起步,我直接用了python3。

首先是收信。邮箱不支持pop3取信,好在支持IMAP。查了一下,python3有专门的库可以做到。

然后是要用正则表达式处理文本。

生成excel需要用到什么什么第三方库,找了一下,没下下来。干脆就简单点,生成csv文件吧。

==============

 1 def main():
 2     M = imaplib.IMAP4_SSL("my-host.com","993")
 3     t=0
 4     try:
 5         try:
 6             M.login('my-username','my-password')
 7         except Exception as e:
 8             print('login error: %s' % e)
 9             M.close()
10         
11         M.select('INBOX',False)
12         
13         # result, message = M.select()
14         # tips: 如果想找Essh邮件的话,使用
15         # type, data = M.search(None, '(SUBJECT "Essh")')
16         # 里面要用一个括号,代表是一个查询条件,可以同时指定多个查询条件,例如FROM xxxx SUBJECT "aaa",
17         # 注意,命令要用括号罩住(痛苦的尝试)
18         typ, data = M.search(None, 'ALL')
19 
20         msgList = data[0].split()
21         print("total mails:" + str(len(msgList)))
22         last = msgList[len(msgList) - 1]
23         # first = msgList[0]
24         # M.store(first, '-FLAGS', '(\Seen)')
25         # M.store("1:*", '+FLAGS', '\\Deleted') #Flag all Trash as Deleted
26         output=PATH+'\output.csv'
27         fp2=open(output, 'w')
28 
29         last_id=read_config()
30         count=0
31         for idx in range(int(last_id), len(msgList)):
32             print("curr id: "+str(idx)+'\n')
33             type,data=M.fetch(msgList[idx],'(RFC822)')
34             deal_mail(data, fp2)
35             count=count+1
36             if count>500:
37                 break
38 
39         write_config(idx)
40         # print(str(idx))
41         print("OK!")
42         M.logout()
43     except Exception as e:
44         print('imap error: %s' % e)
45         M.close()

这是main()部分。主要是连接IMAP服务器、取信、调用处理函数。

我发现,IMAP提供的接口比较怪异。不管怎么说,没怎么掉坑,网上的资料都很齐全。关于搜索的语法以及删除和置为已读/未读的命令都放在注释里。

这里面的逻辑是:首先获取上次处理的序号last_id,从此处开始,处理500条信件。然后将新的last_id写入配置文件中,下次读取。

在写这个程序的时候,遇到的最多的麻烦是关于str和bytes类型的。因为网上许多代码都是来自python2,所以在python3中就遇到多次提示:

cannot use a string pattern on a bytes-like object
write() argument must be str, not bytes
error: a bytes-like object is required, not 'str'
error: string argument without an encoding
error: cannot use a string pattern on a bytes-like object
 
等等。。。一个头两个大。比如,我要把半角逗号替换成全角逗号,这个最简单不过的功能,就试了半天:

这个错:

content=content.replace(',', ',')
error: a bytes-like object is required, not 'str'

这个也错:

content=content.replace(',', bytes(','))
error: string argument without an encoding

最终这个才对了:

content=content.replace(bytearray(',','GBK'), ','.encode('GBK'))

可是当我继续要把半角双引号变成全角双引号时,情况又不一样:

matchObj = re.match( r'.*<body>(.*)</body>.*', content.decode('GBK'), re.M|re.I|re.S)
if matchObj:
    found=matchObj.group(1) #邮件正文
    aa=found.split('#$') #分解为一个个field
    aa[9]=aa[9].replace('"', '“') #我靠前面的写法用不着了! content=content.replace(bytearray(',','GBK'), ','.encode('GBK'))

 

我汗。。。总之肯定里面有什么东西还不大明白,导致走了许多弯路。记录下来,利已助人吧。

以下是全部源码

#-*- coding:UTF-8 -*-
import imaplib, string, email
import os
import re

CONFIG_FILE='last_id.txt'
PATH=os.path.split(os.path.realpath(__file__))[0]

def main():
    M = imaplib.IMAP4_SSL("my-host.com","993")
    t=0
    try:
        try:
            M.login('my-username','my-password')
        except Exception as e:
            print('login error: %s' % e)
            M.close()
        
        M.select('INBOX',False)
        
        # result, message = M.select()
        # tips: 如果想找Essh邮件的话,使用
        # type, data = M.search(None, '(SUBJECT "Essh")')
        # 里面要用一个括号,代表是一个查询条件,可以同时指定多个查询条件,例如FROM xxxx SUBJECT "aaa",
        # 注意,命令要用括号罩住(痛苦的尝试)
        typ, data = M.search(None, 'ALL')

        msgList = data[0].split()
        print("total mails:" + str(len(msgList)))
        last = msgList[len(msgList) - 1]
        # first = msgList[0]
        # M.store(first, '-FLAGS', '(\Seen)')
        # M.store("1:*", '+FLAGS', '\\Deleted') #Flag all Trash as Deleted
        output=PATH+'\output.csv'
        fp2=open(output, 'w')

        last_id=read_config()
        count=0
        for idx in range(int(last_id), len(msgList)):
            print("curr id: "+str(idx)+'\n')
            type,data=M.fetch(msgList[idx],'(RFC822)')
            deal_mail(data, fp2)
            count=count+1
            if count>500:
                break

        write_config(idx)
        # print(str(idx))
        print("OK!")
        M.logout()
    except Exception as e:
        print('imap error: %s' % e)
        M.close()

def main2():
    path=os.path.split(os.path.realpath(__file__))[0]
    input=path+'\input2.txt'
    output=path+'\output.csv'

    fp=open(input, 'rb')
    fp2=open(output, 'w')
    if True:
        line=fp.read()
        pharse_content(fp2, line)

def get_mime_version(msg):
    if msg != None:
        return email.utils.parseaddr(msg.get('mime-version'))[1]
    else:
        empty_obj()
def get_message_id(msg):
    if msg != None:
        return email.utils.parseaddr(msg.get('Message-ID'))[1]
    else:
        empty_obj()

# 读config文件,获取上次最大id,从这个id开始读邮件
def read_config():
    if os.path.isfile(PATH+"\\"+CONFIG_FILE):
        _fp=open(PATH+"\\"+CONFIG_FILE)
        id=_fp.read()
        _fp.close()
    else:
        id=0
    return id

# 将本次处理的邮件的最大id写入config,以便下次读取
def write_config(id):
    _fp=open(PATH+"\\"+CONFIG_FILE, 'w')
    _fp.write(str(id))
    _fp.close()

def deal_mail(data, fp2):
    msg=email.message_from_string(data[0][1].decode('GBK'))
    messageid = get_message_id(msg)
    print(messageid)
    content=msg.get_payload(decode=True)
    #print(content)
    pharse_content(fp2, content, messageid)

def pharse_content(fp2, content, messageid):
    #将半角的 , 换成全角的 ,
    # content=content.replace(',', ',')   # error: a bytes-like object is required, not 'str'
    # content=content.replace(',', bytes(',')) # error: string argument without an encoding
    content=content.replace(bytearray(',','GBK'), ','.encode('GBK'))
    # print(content.decode('GBK'))

    # strinfo=re.compile(',')
    # content=strinfo.sub(',', content)  # error: cannot use a string pattern on a bytes-like object

    matchObj = re.match( r'.*<body>(.*)</body>.*', content.decode('GBK'), re.M|re.I|re.S)
    if matchObj:
        found=matchObj.group(1) #邮件正文
        aa=found.split('#$')    #分解为一个个field

        # 获取申诉涉及号码。匹配模式:申诉问题涉及号码:18790912404;
        mobileObj=re.match(r'.*申诉问题涉及号码:(.*);', aa[9], re.M|re.I|re.S)
        if mobileObj:
            mobile=mobileObj.group(1)
        else:
            mobile=''

        # bb 是结果数组,对应生成的csv文件的列
        aa[9]=aa[9].replace('"', '“') #我靠前面的写法用不着了! content=content.replace(bytearray(',','GBK'), ','.encode('GBK'))

        bb=['']*40    #40个元素的数组,对应40个列
        bb[3]=aa[0]   #D列
        bb[4]=aa[4]   #E
        bb[5]=mobile  #F
        bb[6]=aa[5]   #G
        bb[7]=aa[2]   #H
        bb[8]=aa[1]   #I
        bb[9]=aa[3]   #J
        bb[11]=aa[6]  #L
        bb[12]=aa[6]  #M
        bb[22]='网站' #W 申诉来源。此处可自行修改为指定类型
        bb[36]='"'+aa[9]+'"'  #AK,两侧加 "" 是为了保证多行文字都放进一个单元格中

        DELI=','
        # fp2.write("AAAAA,"+DELI.join(bb)+"\\n")
        fp2.write(DELI.join(bb)+"\n")
    else:
        print("No match!!")

main()

 

posted on 2016-10-15 18:37  anjo  阅读(4077)  评论(0编辑  收藏  举报