20180616

摘要： 方式一：在每个 Spider中设置（针对单个Spider） 方式二： 在中间件中设置（全局） 在配置文件中设置User-Agent集合 # 请求头 CUSTOM_USER_AGENT = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV 阅读全文

摘要： 进程 线程 线程进程的关系区别 线程的调用及join方法 先看看没有join时，如何执行 再看看加上 jion()方法 再看看join()的位置不同，结果的变化 再看一例 其它方法： ... setDaemon(True) 线程调用方式二 import threading import time c 阅读全文

摘要： 1. Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 2. Beautiful Soup 安装 pip install beautifulsoup4 3. 创建 Beautiful Soup 对象 from bs4 i 阅读全文

摘要： Xpath简介 XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。起初 XPath 的提出的初衷是将其作为一个通用的、介于XPoi 阅读全文