摘要：深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续追踪链接 广度优先，有人也叫宽度优先，是指将新下载网页发现的链接直接插入到待抓取URL队列的末尾，也就是指网络爬虫会先抓取起始页中的所有网页，然后在选择其中的一个连接网页，继续抓取在此网页中链接的 阅读全文

摘要：downloader中间件：可以自定义中间件，及中间价优先级； i. 如何新增downloader middleware？重写process_request、process_response、process_exception函数； ii. 为什么要设计downloader middleware? 阅读全文

摘要：在settings.xml文件中的mirrors下添加mirror标签 <!-- 阿里云仓库 --> <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>http://maven 阅读全文

摘要：项目中单机使用shell脚本进行多个scrapy命令的运行，即同个shell进行多个scrapy命令的执行，这样会大大提高爬取效率，好好利用CPU使用率 在shell命令行一次执行多个scrapy命令，可以有三种方式： （一）每个命令之间用 ； 隔开 scrapy crawl a;scrapy cr 阅读全文

摘要：使用idea自身安装插件 打开File—》Settings 找到Plugins再进行下图操作 然后在输入需要的插件名称进行搜索，找到后点击install 另一种方式是直接去http://plugins.jetbrains.com/下载插件 先在搜索栏输入插件名 然后能看到插件的版本，选择自己可用的版 阅读全文

摘要：1. 编程语言里面的任务和线程是很重要的一个功能。在python里面，线程的创建有两种方式，其一使用Thread类创建 # 导入Python标准库中的Thread模块 from threading import Thread # 创建一个线程 mthread = threading.Thread(t 阅读全文

摘要：在安装python的相关模块和库时，我们一般使用“pip install 模块名”或者“python setup.py install”，前者是在线安装，会安装该包的相关依赖包；后者是下载源码包然后在本地安装，不会安装该包的相关依赖包。所以在安装普通的python包时，利用pip工具相当简单 有些时 阅读全文