摘要：scrapy架构介绍 SPIDERS 就是我们写的爬虫（即使没写代码，也会有默认生成的代码） SCHEDULER（调度器），我们写的爬虫被封装成request对象之后，进入调度器去重（一些重复的我们肯定不会多次执行的） DOWNLOADER(下载器),进去下载器之后开始刷刷的向互联网发送http请求 阅读全文

摘要：xpath的使用 1、html中选择标签，可以使用的通用方式 css选择 xpath选择 XPath即为XML路径语言(XML Path Language)，它是一种用来确定XML文档中某部分位置的语言 2、语法的简单介绍 - nodename 选取此节点的所有子节点 - / 从根节点选取 /bod 阅读全文