自动发布工具版本从python2升级成python3后遇到的种种问题(涉及paramiko,Crypto,zipfile等等)

   从在公司实习到正式入职,一直还在被同事使用的是我写的一个自动发布工具。该工具的主要功能是:开发人员给出需要更新的代码包(zip格式),测试人员将该代码包部署到测服,这些代码包和JIRA数据库里的项目信息挂钩,同时这个工具也支持回滚代码包。因为涉及到sftp的相关操作,最初选择了paramiko这个饱受好评的第三方库。可是当时该库只支持Python2,所以我的这个自动化工具在Python2的环境下编写。

    最近又在写一个原创的WEB自动化测试框架,在Python3环境编写,所以我装了个虚拟机,WIN7 64bit搭建的是Python3的环境。不同项目切换来切换去实在麻烦,所以想着把自动化发布工具升级成Python3版本。在paramiko的官网查了一下,现在的paramiko已经支持Python3了!真是喜讯啊!于是我立即着手开始迁移代码,果然在这个过程中遇到了好些个问题,不过最终也都解决了,现罗列如下:


一、Paramiko的安装:

    利用 pip install paramiko 可以方便地自动下载并安装paramiko以及它所依赖的pycrypto和ecdsa库,运行程序时却报错:

 

import paramiko
  File "C:\Python33\lib\site-packages\paramiko\__init__.py", line 31, in <module>
    from paramiko.transport import SecurityOptions, Transport
  File "C:\Python33\lib\site-packages\paramiko\transport.py", line 47, in <module>
    from paramiko.dsskey import DSSKey
  File "C:\Python33\lib\site-packages\paramiko\dsskey.py", line 26, in <module>
    from Crypto.PublicKey import DSA
ImportError: No module named 'Crypto'

 

    我利用pip下载Crypto却不行,也会报错缺少winrandom模块。


解决方法:自己去Crypto官方下载代码包,采用 python setup.py build, python setup.py install的方法安装。我估计是pip安装时,某些原因致使程序无法定位到winrandom模块造成的。

 

20150304更新:

  重装了系统,使用了python3.4.3,电脑里装的是VS2013,如果提示找不到vcvarsall.bat,可以更改 \Python34\Lib\distutils\msvc9compiler.py:

  query_vcvarsall(version, arch="x86"):

  #vcvarsall = find_vcvarsall(version)
  version = 12.0
  vcvarsall = 'C:\\Program Files (x86)\\Microsoft Visual Studio 12.0\\VC\\vcvarsall.bat'

 

  如果仍提示找不到Crypto,请将\Python34\Lib\site-packages文件夹下“crypto”重命名为"Crypto"。

  如果提示找不到winrandom模块,请将\Python34\Lib\site-packages\Crypto\Random\OSRNG\nt.py文件改为:from . import winrandom

  

 


二、数据库模块的安装,用pymysql替换MySQLdb:

    当时用的是MySQLdb这个数据库模块,可是作者已经停止更新了。


解决方法:我找到了一个模块:pymysql,这个模块应该是为了接续MySQLdb而生的…用法都没什么差别。


三、zipfile:

    这个也是让我花了最多时间的,三个小时才搞定。我一开始并没有觉得这个模块的代码需要做什么改动,但是同事在用我Python3版的工具时发现一个问题,如果压缩包中有中文命名的路径或者文件名,程序就会编码错误。在网上查了一下,发现zip包文件名是gbk编码类型的,然后我才想起来,我在Python2版本中,为了在cmd窗口下完美支持中文,设定了默认编码:

 

import sys
sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding('GB2312')
sys.getdefaultencoding()

 

    可是在Python3中没有"setdefaultencoding"这个方法!!看到了比较官方的解释,主要是他们觉得Py2中这个方法是很愚蠢的,而且在Python3中编码有很大的改动,默认采用utf8的编码,同时也摈弃了这个方法。

    我随后又在网上找到,说zip内部编码是IBM437,转换成相应的gb编码即可。原本我的操作是将整个压缩包extractall出来的,现在只能一个个提取。按照上面的思想,我尝试了一下,果然可以~


解决方法:直接贴出我的源代码

import zipfile
z = zipfile.ZipFile(path, 'r')  #path是压缩包的路径

for filen in z.namelist() :
            utf8name = filen.encode('IBM437').decode('GB18030')
            pathname = localpath + os.path.dirname(utf8name)  #这里的localpath是我自己设定的一个前缀路径

            if not os.path.exists(pathname) and pathname != "" :
                os.makedirs(pathname)
            
            data = z.read(filen)
            fullfile = localpath + utf8name

#如果是文件,就创建一个一样的
            if not os.path.exists(fullfile) :
                fr = open(fullfile, 'wb') 
                fr.write(data)
                fr.close()
#这里一定要用wb方式打开,因为Py3中,字符串以unicode编码存储,想要写入二进制文件时,必须先转换成字节类型bytes
z.close()

    以上就是我将我写的发布工具从python2迁移到python3环境所遇到的主要问题,希望能和大家分享~




posted on 2014-08-29 21:46  Noah.Zhang  阅读(2484)  评论(2编辑  收藏  举报

导航