python多进程运行测试用例的写报告为空的问题与解决

研究多线程问题也是因为当时自动发送报告邮件导致的，那会还没找到解决方案就一直想着如果启用多进程运行呢，结果就遇到了个新的问题，就是本文的来源。

先贴个书本讲解多进程运行测试用例的源代码：

# coding=utf-8
import unittest,os,time,multiprocessing
import commands
from email.mime.text import MIMEText
import HTMLTestRunner
import sys
sys.path.append('..\selenium_process')


def EEEcreatsuite1():
    casedir=[]
    listaa=os.listdir('..\\selenium_process')
    for xx in listaa:
        if 'thread' in xx:
            casedir.append(xx)
    print casedir

    suite=[]
    for n in casedir:
        testunit=unittest.TestSuite()
        discover=unittest.defaultTestLoader.discover(str(n),pattern='start_*.py',top_level_dir=r'..\\..\\test_unittest')
        for test_suite in discover:
            for test_case in test_suite:
                testunit.addTest(test_case)
                print testunit
        suite.append(testunit)

    return suite,casedir


def EEEEEmutiRunCase(suite,casedir):
    now=time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time()))
    #把当前时间加到报告中
    filename="..\\report\\"+now+'result.html'
    fp=file(filename,'wb')

    proclist=[]
    s=0
    for i in suite:
        runner=HTMLTestRunner.HTMLTestRunner(
            stream=fp,
            title=str(casedir[s])+u'测试报告',
            description=u'用例执行情况：'
            )
        proc=multiprocessing.Process(target=runner.run,args=(i,))  
        proclist.append(proc)
        s=s+1
        print proclist

    for p in proclist: p.start()
    for p in proclist: p.join()
    fp.close()


if __name__=='__main__':
    runtmp=EEEcreatsuite1()
    EEEEEmutiRunCase(runtmp[0],runtmp[1])

上面作者书本没有提示运行环境，由于书本例子代码基本除了特殊说明都是windows上运行的。于是我照着敲完后就运行报错，一直都是：ValueError: I/O operation on closed file。

我由于学习才入门，不明白这个报错到底为何，因为我检查代码确保没有敲错，照着作者的代码我敢肯定100%一致。

我研究了一整天就没整出个所以然来，后来百度搜索看到windows和linux多进程机制的区别，如下：

具体思路跟把文件输出集中在一起也差不多，就是把进程需要写入文件的内容作为返回值返回给惠和的回调函数，使用回调函数向文件中写入内容。这样做在windows下面还有一个好处，在windows环境下，python的多进程没有像linux环境下的多进程一样，linux环境下的multiprocessing库是基于fork函数，父进程fork了一个子进程之后会把自己的资源，比如文件句柄都传递给子进程。但是在windows环境下没有fork函数，所以如果你在父进程里打开了一个文件，在子进程中写入，会出现ValueError: I/O operation on closed file这样的错误，而且在windows环境下最好加入if __name__ == '__main__'这样的判断，以避免一些可能出现的RuntimeError或者死锁。（from 网址：http://blog.csdn.net/Q_AN1314/article/details/51923022）

我看到“但是在windows环境下没有fork函数，所以如果你在父进程里打开了一个文件，在子进程中写入，会出现ValueError: I/O operation on closed file这样的错误”这句时就突然意识到运行书本样例出现的问题应该就是这个导致的，于是我仔细分析代码发现fp代开写文件是在主进程里操作的，而Process启动的进程是不跟主进程同一个的，所以无法共享到fp的状态的。

我左思右想如何把fp的状态通过process加载启动之前传过去，甚至考虑到了用进程共享变量的形式，最后我想到既然fp=file先在主进程里就打开准备写了，我可不可以把这步直接去process创建的进程里进行？我改写代码如下：

# coding=utf-8
import unittest,os,time,multiprocessing
import commands
from email.mime.text import MIMEText
import HTMLTestRunner
import send_mail
import sys
sys.path.append('..\selenium_process')


def EEEcreatsuite1():
    casedir=[]
    listaa=os.listdir('..\\selenium_process')
    for xx in listaa:
        if 'thread' in xx:
            casedir.append(xx)
    print casedir

    suite=[]
    for n in casedir:
        testunit=unittest.TestSuite()
        discover=unittest.defaultTestLoader.discover(str(n),pattern='start_*.py',top_level_dir=r'..\\..\\test_unittest')
        for test_suite in discover:
            for test_case in test_suite:
                testunit.addTest(test_case)
                print testunit
        suite.append(testunit)

    return suite,casedir


def htmlrun(filename,testut,casedir):
    fp=file(filename,'a+')  #改写、前模式是wb或w+结果都只是一个进程写进了报告，另外一个进程未写入，改成a+后，搞定，写入成功
    runner=HTMLTestRunner.HTMLTestRunner(
            stream=fp,
            title=str(casedir)+u'测试报告',
            description=u'用例执行情况：'
            )
    runner.run(testut)
    fp.close()

def EEEEEmutiRunCase(suite,casedir):
    now=time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time()))
    #把当前时间加到报告中
    filename="..\\report\\"+now+'result.html'
    proclist=[]
    s=0
    for i in suite:
        proc=multiprocessing.Process(target=htmlrun,args=(filename,i,casedir[s])) 
        proclist.append(proc)
        s=s+1
        print proclist

    for p in proclist: p.start()
    for p in proclist: p.join()
    send_mail.sendreport()





if __name__=='__main__':
    runtmp=EEEcreatsuite1()
    EEEEEmutiRunCase(runtmp[0],runtmp[1])

 

结果运行通过，报告写入成功。

中间还有句：fp=file(filename,'wb') 这是作者原来写的代码，我发现运行成功后，只有一个进程的报告写入了报告，另外一个还是没写入；于是查看file()函数帮助后+模式运行多任务读与写，改成fp=file(filename,'a+')后，运行成功，所有进程的结果都写入了报告。