摘要：from scrapy.commands import ScrapyCommand from scrapy.utils.project import get_project_settings #断点续爬scrapy crawl spider_name -s JOBDIR=crawls/spider_ 阅读全文

摘要：实质：分析真实请求地址,根据规则构造新地址从而获得数据。 分析发现数据是通过异步ajax方式→post 获得的 于是通过分析response ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ 发现每次翻页 网页都会新请求一个NoticeKTSearch，以post方式请求 ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ 阅读全文

摘要：注释掉的是刚开始的代码，匹配的全是带空格的，replace替换不了空格 后面加上了normalize-space（） 匹配到的文本内容变成了可replace 问题解决 阅读全文

摘要：1 import json 2 # from multiprocessing import Pool 3 import requests 4 from requests.exceptions import RequestException 5 import re 6 7 8 def get_one_ 阅读全文

摘要：1 from selenium import webdriver 2 from selenium.common.exceptions import TimeoutException 3 from selenium.webdriver.common.by import By 4 from seleni 阅读全文