2020年6月13日
起始url的调度原理
摘要： # -*- coding: utf-8 -*- import scrapy from xdb.items import XdbItem from scrapy.dupefilters import RFPDupeFilter from scrapy.http.cookies import Cooki 阅读全文
posted @ 2020-06-13 23:35 高汤 阅读(151) 评论(0) 推荐(0)
自定义代理IP
摘要： 自定义proxy.py import base64 import random from urllib.parse import unquote, urlunparse from urllib.request import _parse_proxy from scrapy.utils.python 阅读全文
posted @ 2020-06-13 23:20 高汤 阅读(259) 评论(0) 推荐(0)