寒假大数据学习笔记十一

　　今天从山西卫健委官网上爬取新型冠状病毒疫情有关内容的数据。到发博客为止我只做了一半，只是将相关文字爬取下来，还没有经过处理。那么主要说一说我碰到的问题吧。主要就是爬取网页的文字内容时受到网页标签的影响，难以规范地取得我想要的内容，影响包括但不限于各种稀奇古怪的位置上出现的换行符、空格、制表符。同时爬取下来的网页还是一大块，因为我并不能一下子得到我想要的数据，所以这一大块网页我还要分成几个小部分单独去处理直到得到有关数据。话不多说，代码如下：

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
import re
import os


class SxgzbdSpider(scrapy.Spider):
    name = 'sxgzbd'
    allowed_domains = ['wjw.shanxi.gov.cn']
    start_urls = ['http://wjw.shanxi.gov.cn/yqfbl05/index.hrh']

    def parse(self, response):
        context = ""
        str1 = ""
        if response.url == 'http://wjw.shanxi.gov.cn/yqfbl05/index.hrh':
            sxurls = response.xpath(
                "//div[@class='demo-right']//li/a[contains(@title,'新型冠状病毒')]/@href").extract()
            for i in sxurls:
                yield Request(i)
        else:
            data = response.xpath(
                "//div[@class='artxx']/text()").re("2020-\d\d-\d\d")
            contexts = response.xpath(
                "//div[@class='ze-art']//text()").extract()
            for i in contexts:
                context += i
            # 将所有的换行符换成一个空格
            context = re.sub('\n+', ' ', context)
            # 将所有的空格换成一个空格
            context = re.sub(' +', ' ', context)
            # 将所有的制表符换成一个空格
            context = re.sub('\t+', ' ', context)
            # 将所有的空格换成一个换行符
            context = re.sub(' +', '\n', context)
            # 如果alldata文件存在，删除
            if os.path.exists("alldata.txt"):
                os.remove("alldata.txt")
            # 追加写入
            with open("alldata.txt", 'a') as p:
                p.write(context)
            # 读出文件内容为字符串
            f = open("alldata.txt", "r")
            for line2 in f:
                str1 = line2
            # 根据换行符分割
            finalstr = str1.split("\n")
            for i in finalstr:
                if len(i) > 70:
                    if os.path.exists(str(i[:9])+".txt"):
                        os.remove(str(i[:9])+".txt")
                    with open(str(i[:9]) + ".txt", 'a') as p:
                        p.write(i)