分享几个python小脚本
by 梁凯
今天我想给大家分享几个python脚本，分别是： 1.公司访问外网认证脚本（最初有同事写过，我优化了一下）。 2.统计周报系统所有同事的最近一篇周报。 3.统计测试技术分享里指定一个月所有同事的文章数量。 4.统计bugzilla系统里所有的quips。 这几个小脚本都是利用空闲时间，经过多次修改完成的。技术含量也不是特别高，主要是学以致用，因为光说不练假把式，只有在实践当中才能够真正的掌握知识点。实践是检验真理的唯一标准。 一、公司访问外网认证 在公司访问外网得需要认证，有时候不一定能够接触到浏览器，所以利用脚本认证上网还是很方便的。 优化功能： 1. 登录成功会有提示信息 2. 登录失败也会有提示信息，就是说可以捕捉异常 3. 有时候输入中文名字不方便，所以可以把名字提前输入脚本 4. 输入密码屏幕不可见，先前同事写的脚本是明文密码 源码：
#!/usr/bin/env python
#coding:utf-8
####################
#公司访问外网认证脚本
#update by kai.liang@i-soft.com.cn
###################
import urllib, urllib2, getpass
#name = raw_input('请输入用户名：')
name = '梁凯' # 在本行输入您的名字
url = 'http://172.16.1.3/webAuth/index.htm'
def auth():
page = 0
parameters = {'password':passwd,'pwd':passwd,'secret':'true','username':name}
#提交的数据参数
data = urllib.urlencode(parameters) #对参数进行编码
req = urllib2.Request(url, data) #形成url请求
try:
response = urllib2.urlopen(req) #发送请求
response = urllib2.urlopen(req) #发送请求
page = response.read() #读取返回的页面
except Exception, e:
print '登录失败，请重新登录!' #修复HTTPError错误
if page:
if "认证成功" in page or "该IP已登录" in page:
print '恭喜您，登录成功，您现在可以访问外网了！'
else:
print '账号或密码错误，请重新登录！'
if __name__ == '__main__':
print "####################################"
print "#公司访问外网认证脚本 #"
print "#初次使用请将脚本12行替换为您的名字#"
print "####################################"
print '用户名：%s' %name
passwd = getpass.getpass('请输入密码：')
auth()
二、统计周报系统所有同事的最近一篇周报 本脚本可以把所有同事最近发布的一篇周报标题给抓取出来，这样可以知道哪些同事有没有更新周报了，嘿嘿。 这其实属于爬虫类型的脚本，使用urllib2模块抓取特定网页，然后使用re正则表达式模块进行过滤字符，把需要的信息给抓取出来。利用爬虫还可以批量下载图片。 上源码：
#!/usr/bin/python
#coding:utf-8
####################
#本文档爬取周报系统所有同事的最近一篇周报
#powered by: kai.liang@i-soft.com.cn
#date:20170224
#version:1.0
######################
import urllib2
import re #载入所需模块
class Bloglist():
url='http://tfs.i-soft.com.cn/drupal/?q=blog/' #周报系统日志网址的前缀
def __init__(self, userid):
self.url=Bloglist.url+str(userid) #网址=网址前缀+用户id
def getHtml(self): #获取网页内容
try:
html = urllib2.urlopen(self.url).read()
return html
except Exception, e:
print 'url error!!'
def getTitle(self): #应用正则表达式提取网页中的日志标题
html=self.getHtml()
reg = r'node/\d+">(.*\d{6}.*)'
titlere = re.compile(reg)
lines = html.split()
m = re.search(titlere, html)
titles = m.groups()
title = ''.join(titles)
return title
def main():
"""
zhaopanpan:7
lixiaoshuang:21
huangjun:22
wangjue:23
liuke:24
lipeng:28
hanjingjing:30
lixingfeng:41
liuhui:42
liangkai:43
liulu:44
zhaolili:45
yaoxiangchuang:46
liuchang:47
liuchunyuan:48
lufei:49
liuyang:50
chijianping:51
""" #每位用户的id
users = [7,21,22,23,24,28,30,41,42,43,44,45,46,47,48,49,50,51]
print '----------------------------'
print '测试中心成员最近一篇周报'
print '----------------------------'
for i in users:
userBlog = Bloglist(i) #对象初始化
title = userBlog.getTitle() #使用对象方法
print title
print '----------------------------'
if __name__== '__main__':
main()
使用方法：./weekpaper-spider.py
[root@server49 pytest_20170309]# ./weekpaper-spider.py ---------------------------- 测试中心成员最近一篇周报 ---------------------------- 测试个人周报20170331-赵盼盼 测试个人周报-20170331-李小双 测试个人周报-20170331-黄俊 测试个人周报-20170331-王珏 测试个人周报-20170331-刘柯 测试个人周报20170331-李鹏 测试个人周报20170331-韩晶晶 测试个人周报20170331-李兴峰 测试个人周报-20170331-刘辉 测试个人周报-20170331-梁凯 测试个人周报-20170331-刘璐 测试个人周报-20170331-赵丽丽 测试个人周报-20170331-姚翔川 测试个人周报-20170331-刘畅 测试个人周报-20170331-刘春媛 测试个人周报20170331-路斐 测试个人周报-20170407-刘杨 测试个人周报-20170331-迟健平 ----------------------------
三、统计测试技术分享里指定一个月所有同事的文章数量 本脚本可以统计测试技术分享里指定一个月所有同事的文章数量，包括每位同事发布文章数量，转载和原创各自数量。还有总文章数量以及总转载和总原创数量。辨别是不是转载主要是看标题有没有“转载”或“转”的关键词，如果同事不写这个关键词的话只能认为是原创了。 最开始可以显示作者标题，看着乱我给去掉了。现在是直接屏幕输出，其实可以写入文本文件，或者制作成excel文件，当然得使用第三方模块才可以。 源码:
#!/usr/bin/python
#coding:utf-8
##################
#爬取测试技术分享里指定某一月所有同事的文章发布数量
#powered by: kai.liang@i-soft.com.cn
#date: 20170307
#version: 1.0
#################
import urllib2
import re
import sys #载入网络、正则、系统的模块
try:
month = sys.argv[1] #运行脚本时传递的参数
except Exception as e:
print '请输入参数，例如：'
print '查询3月份的文章请输入：python blog-spider.py 03'
exit()
year = 2017 #默认年份为2017，可以此处修改
class Bloglist(): #定义类，脚本的核心
total_zhuan=0
total_yuan=0
total = 0
urlHead = 'http://192.168.32.3/blog/?author=%s&&m=%s'
def __init__(self, author, date='201703'): #初始化参数
self.url = self.urlHead %(author,date)
self.zhuan = 0
self.yuan = 0
def getHtml(self): #获取网页文本
html = urllib2.urlopen(self.url).read()
return html
def getTitle(self): #获取网页中某一作者的文章标题
reg = r'"bookmark">(.*)'
titlere = re.compile(reg)
title = re.findall(titlere, self.getHtml())
return title
def count(self): #计算作者的文章数量，本打算输出文章标题
#看着乱，就给注释掉了
#print "文章标题："
#print "-----------------------------"
for line in self.getTitle():
# if '转载' or '（转）' in line:
if '转载' in line or line[0:9]== '（转）':
self.zhuan += 1
else:
self.yuan += 1
#print line
#print "-----------------------------"
print "发布文章：" + str(self.zhuan+self.yuan) + "篇 ",
print "转载："+ str(self.zhuan) + "篇 " + "原创：" + str(self.yuan) + "篇"
Bloglist.total_zhuan = Bloglist.total_zhuan + self.zhuan
Bloglist.total_yuan = Bloglist.total_yuan + self.yuan
Bloglist.total = Bloglist.total_zhuan + Bloglist.total_yuan
def author():
date = str(year) + str(month)
user = {2:'李 鹏', 3:'王 珏', 5:'黄 俊',6:'韩晶晶', 7:'李小双', 8:'赵盼盼', \
10:'刘 珂',11:'刘 辉', 12:'刘春媛', 13:'路 斐', 14:'梁 凯', 15:'李兴峰', 16:'刘 璐',\
17:'姚翔川',18:'刘 畅', 19:'刘 杨', 20:'赵丽丽', 21:'迟建平'}
#测试成员对应的id
print "-------------------------------------------"
print "2017年%s月份测试中心成员发布文章情况" %month
print "-------------------------------------------"
for i in user.keys():
userPaper = Bloglist(i, date) #成员对象的实例化
print '%s' %user[i],
userPaper.count()
print "总计：%s篇，转载：%s篇，原创：%s篇" %(Bloglist.total, Bloglist.total_zhuan, Bloglist.total_yuan)
print "-------------------------------------------"
if __name__ == '__main__':
author()
使用方法：
./blog-spider.py 03 脚本后面加入月份，默认是年份是2017。
[root@server49 pytest_20170309]# ./blog-spider.py 03 ------------------------------------------- 2017年03月份测试中心成员发布文章情况 ------------------------------------------- 李 鹏 发布文章：3篇 转载：1篇 原创：2篇 王 珏 发布文章：2篇 转载：0篇 原创：2篇 黄 俊 发布文章：2篇 转载：1篇 原创：1篇 韩晶晶 发布文章：2篇 转载：1篇 原创：1篇 李小双 发布文章：1篇 转载：0篇 原创：1篇 赵盼盼 发布文章：3篇 转载：2篇 原创：1篇 刘 珂 发布文章：3篇 转载：0篇 原创：3篇 刘 辉 发布文章：3篇 转载：2篇 原创：1篇 刘春媛 发布文章：3篇 转载：2篇 原创：1篇 路 斐 发布文章：2篇 转载：1篇 原创：1篇 梁 凯 发布文章：3篇 转载：2篇 原创：1篇 李兴峰 发布文章：3篇 转载：1篇 原创：2篇 刘 璐 发布文章：3篇 转载：2篇 原创：1篇 姚翔川 发布文章：3篇 转载：2篇 原创：1篇 刘 畅 发布文章：3篇 转载：2篇 原创：1篇 刘 杨 发布文章：3篇 转载：2篇 原创：1篇 赵丽丽 发布文章：3篇 转载：1篇 原创：2篇 迟建平 发布文章：3篇 转载：2篇 原创：1篇 总计：48篇，转载：24篇，原创：24篇 -------------------------------------------
四、统计bugzilla系统里所有的quips 大家访问bugzilla时会看到很多好玩的句子，可是你有没有想过一共有多少个quips呢，如果是都抓取下来该如何去做呢？好，大家先不要参考下面的代码，自己去写写，然后跟我的对比一下，看看你到底比我强多少。
此处需等待10分钟……………………………………
好，相信大家都写完了。我们来分析一下，首先应该使用一个可以看到quips的地址，这个地址bug数量越少越好，减少载入时间呀。然后把所以网页内容抓取下来，分析quips的关键词，使用re模块的正则表达式过滤quips。因为每次显示的quips都是随机的，所以你得抓取足够多的次数才可以遍历整个quips的数据库，而且还会有重复，你得把重复的去掉。我选择获取100次quips，执行一遍可能不能遍历所有的数据，得运行几遍才可以。 我得到的结果是一共含有48个quips。 上源码：
#!/usr/bin/python
#coding:utf-8
import urllib2
import re
import os
#查看quips所使用的网址
url = "http://192.168.32.3/buglist.cgi?query_format=advanced&list_id=81057&short_desc=123&short_desc_type=allwordssubstr&product=smb_DEV"
def getquip():
html = urllib2.urlopen(url).read() #读取网页内容
rules = r'"quips.cgi">(.*)'
reg = re.compile(rules)
quip = re.findall(reg,html) #使用正则表达式提取quips字符
quip = ''.join(quip)
#print quip
q = open('quips.txt', 'r+')
quips = q.read()
q.close() #读取文件内容
if quip not in quips: #如果获取的quip不在quips.txt文件里则写入文件
f = open('quips.txt', 'a')
f.write(quip)
f.write('\n')
f.close()
def isquips():
if not os.path.isfile('quips.txt'):
a = os.system('touch quips.txt') #判断quips.txt是否存在，不存在就创建
if __name__ == "__main__":
print "Getting quips, please waiting....."
isquips()
for i in range(100): #获取100个quips
getquip()
print "Getting quips completed, please look over the quips.txt."
使用方法：./bugQuips.py
[root@server49 pytest_20170309]# ./bugQuips.py Getting quips, please waiting..... Getting quips completed, please look over the quips.txt.
[root@server49 pytest]# cat quips.txt 水深火热~ 骂程序员职业的人大都自己就是程序员。因为高水平的人不屑于骂，低水平的人不知道怎么骂 ……于浩歌狂热之际中寒；于天上看见深渊。于一切眼中看见无所有；于无所希望中得救。…… 质量即生命，责任重泰山 程序员都是好男人，因为他们一整天都在扪心自问：我到底错在哪了，让我知道，我一定改... Fear can hold you prisoner. Hope can set you free. 再见，罗纳尔多！ 过少的测试是一种不负责任，过多的测试是一种犯罪！ 你是我们加班的罪魁祸首,坚决消灭你！！！！！！！！！！ 很多程序员不知道格子衫有一个隐藏属性：穿上后遇到BUG的概率减少5%！ 问君能有几多愁，恰似调完bug改需求！！！ 平均每三个“屌丝”拥有一个女友（男友） 我们有理由相信计算机的世界没有诡异的事情，一定是自己犯了某个傻X的错误 "hello world" 就是罪魁祸首。不编程，何来bug！？！？ 原谅我一生不羁放纵爱自由 若是黄艺博不娶林妙可，我就再也不相信爱情了…… 一切罪恶BUG的根源都是“Hello，word！” 一切Bug都是纸老虎！你强他就弱！你弱他就强！在战略上藐视bug，在战术上重视bug！有木有？ 北京人说，推开窗，咱就能闻到烟。上海人讲，这有啥，呵呵，打开自来水，咱就能喝到排骨汤。 所有的程序都有逻辑，所有的事物都有因果。 人生一梦，白云苍狗 the quieter you become,the more you are able to hear 爱他，就给他提bug；恨他，也给他提bug 神马bug，都是浮云 国家项目是学术腐败之源！ 抗bug战争，漫长而艰难 谁也无法改变现状，唯有无数程序员血洒大地，才能使项目重建天日~ Jobs教主去了，改变世界的事就交给我们吧 ^如今但愿关门睡，一任梅花任雪飞^ 你若不离不弃，我必死无疑 人生三恨:一恨海棠无香,二恨鲥鱼多刺,三恨红楼梦未完 轻轻地我走了，正如我悄悄的来；我挥一挥衣袖，fix一片bug…… 你若安好，便是晴天。 人生如梦亦如幻，朝如晨露暮如霞。 一个程序员看到bug后，如果第一反应是，这是硬件、库的问题，那么说看程序员入门 片云归洞非有意，我造Bug本无心 恨你在心口难开 满纸心酸泪。 不管你有多少经验，BUG一直跟着你 生命不息，测试不止 天下风云出我辈，一入江湖岁月催 成也bug，败也bug 皇图霸业谈笑中，不胜人生一场醉 不生不灭，不垢不净，不增不减 未来姗姗来迟,现在如箭飞逝 知识就是力量，一种让别人觉得自己很笨的力量。。。。 菩提本无树,明镜亦非台,本来无一物,何处惹尘埃。 道，生一一，生二二，生三三，生万物万物，附阴而抱阳，冲气以为和。
结语 直接复制网页的源码由于格式问题可能不能执行，建议wordpress上装个代码高亮显示的插件，那样查看代码就方便了。需要的童鞋去github上下载吧。 纸上得来终觉浅，觉知此事要躬行。看十行代码不如实实在在的敲一行代码。当你敲出来时才可以发现一些细节问题，才可以体会代码的精妙之处。很多同学都在学习编程，我认为还是应该多把书上的代码自己敲一遍，可能的话把学到的知识用于解决工作和生活中的问题。毕竟技术可以改变生活。学习——工作——再学习——再工作——能力提升。
“Life is short, you need python”
