Python爬虫(二)--糗事百科 

  1. #coding=utf-8
  3. import urllib
  4. import urllib2
  5. import re
  6. import thread
  7. import time
  9. class QSBK:
  10.     # 初始化方法，定义变量
  11.     def __init__(self):
  12.         self.pageIndex = 1
  13.         self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
  14.         # 初始化headers
  15.         self.headers = {'User-Agent':self.user_agent}
  16.         # 存放段子的变量，每一个元素是每一页的段子
  17.         self.stories = []
  18.         # 存放程序是否继续运行的变量
  19.         self.enable = False
  20.     def getPage(self,pageIndex):
  21.         try:
  22.             url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
  23.             # 构建请求的request
  24.             request = urllib2.Request(url,headers = self.headers)
  25.             # 利用urlopen获取页面代码
  26.             response = urllib2.urlopen(request)
  27.             # 将页面转化为UTF-8编码
  28.             pageCode = response.read().decode('utf-8')
  29.             return  pageCode
  31.         except urllib2.URLError,e:
  32.             # if hasattr(e, "code"):
  33.             #     print e.code
  34.             if hasattr(e, "reason"):
  35.                 print u"连接糗事百科失败，错误原因",e.reason
  36.                 return None
  38.     def getPageIntems(self,pageIndex):
  39.         pageCode = self.getPage(pageIndex)
  40.         if not pageCode:
  41.             print "页面加载失败..."
  42.             return None
  43.         pattern = re.compile('h2>(.*?)</h2.*?<img(.*?)alt.*?content">(.*?)</.*?number">(.*?)</i', re.S)
  44.         items = re.findall(pattern,pageCode)
  45.         # 用来存储每页的段子
  46.         pageStories = []
  47.         # 遍历正则表达式匹配的信息
  48.         for item in  items:
  49.             replaceBR = re.compile('<br/>')
  50.             text = re.sub(replaceBR,"\n",item[2])
  51.             # item[0]--段子发布者,item[2]--段子内容,item[3]--段子点赞数
  52.             pageStories.append([item[0].strip(),text.strip(),item[3].strip()])
  53.         return pageStories
  55.     # 加载并提取页面内容，加入到列表中
  56.     def loadPage(self):
  57.         # 如果当前未看的页数少于2页，则加载新一页
  58.         if self.enable == True:
  59.             if len(self.stories) < 2:
  60.                 # 获取新一页
  61.                 pageStories = self.getPageIntems(self.pageIndex)
  62.                 # 将该页的段子存到全局变量列表list中
  63.                 if pageStories:
  64.                     self.stories.append(pageStories)
  65.                     # 获取完之后页码索引+1，表示下次读取下一页
  66.                     self.pageIndex += 1
  68.     # 调用该方法，每次敲回车打印输出一个段子
  69.     def getOneStory(self,pageStories,page):
  70.         # 遍历当前页的每一个段子
  71.         for story in pageStories:
  72.             # 等待用户输入
  73.             input = raw_input()
  74.             # 每当输入回车一次，判断一下是否要加载新页面
  75.             self.loadPage()
  76.             if input == "Q":
  77.                 # 输入Q则程序结束
  78.                 self.enable = False
  79.                 return
  80.             print u"第%d页\t发布人:%s\t赞:%s\n%s"%(page,story[0],story[2],story[1])
  83.     # 开始方法
  84.     def start(self):
  85.         print u"正在读取糗事百科，按回车查看新段子。按Q退出"
  86.         # 变量为True，程序开始运行
  87.         self.enable = True
  88.         # 先加载第一页内容
  89.         self.loadPage()
  90.         # 局部变量，控制当前页数
  91.         nowPage = 0
  92.         while self.enable:
  93.             if len(self.stories)>0:
  94.                 # 从全局List中获取当前页的段子
  95.                 pageStories = self.stories[0]
  96.                 # 当前读到的页数+1
  97.                 nowPage += 1
  98.                 # 将全局List中的第一个元素删掉
  99.                 del self.stories[0]
  100.                 # 输出该页的段子
  101.                 self.getOneStory(pageStories,nowPage)
  103. spider = QSBK()
  104. spider.start()




posted @ 2016-10-17 20:43  ldbmcs  阅读(286)  评论(0)    收藏  举报