实例-使用正则表达式的爬虫

正则表达式使用，详见：python学习 正则表达式-match、search、findall、sub、replace/贪婪与非贪婪  

例子：

from urllib import request
import re

class wadzSpider():
    def __init__(self):
        # 初始化起始页位置
        self.page=1
        # 爬取开关，如果为True继续爬取
        self.switch=True

    #下载页面
    def loadPage(self):
        url='http://www.waduanzi.com/page/'+str(self.page)
        header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"}
        a=request.Request(url,headers=header)
        html=request.urlopen(a).read().decode('utf-8')
        # print(type(html))
        # print(html)
        #将正则匹配对象应用到html源码字符串里，返回这个页面里的所有段子的列表
        content = re.findall(r'<div\sclass="item-content">(.*?)<a', html, re.S)   # re.S。它表示 “.” 的作用扩展到整个字符串，包括“\n”  #(.*?)非贪婪模式
        # print(content)

        self.handlePage(content)

    # 处理段子里的杂七杂八
    def handlePage(self,content):
        for item in content:
            item=item.replace('&nbsp;','').replace('<br />','')
            print(item,end='\n----------------\n')
            self.wirtePage(item)

    def wirtePage(self,item):
        with open(r'waduanzi.txt','a') as f:
            f.write(item)

    #控制爬虫运行
    def startWork(self):
        # 循环执行，直到 self.switch == False
        while self.switch:
            self.loadPage()
            command=input('如果继续爬取，请按回车（退出输入quit):')
            if command=='quit':
                # 如果停止爬取，则输入 quit
                self.switch=False
                break
            # 每次循环，page页码自增1
            self.page+=1
        print('谢谢使用!')

if __name__ == '__main__':
    sp=wadzSpider()
    sp.startWork()