摘要：
笔记-scrapy-setting 1. 简介 Scrapy设置允许您自定义所有Scrapy组件的行为，包括核心，扩展，管道和蜘蛛本身. 可以使用不同的机制来填充设置，每种机制都有不同的优先级。以下按优先级降序排列： 命令行选项（最优先） 每个蜘蛛的设置 项目设置模块settings.py 每个命令 阅读全文
posted @ 2018-05-21 15:18
木林森__𣛧
阅读(116)
评论(0)
推荐(0)
摘要：
笔记-scrapy-Request/Response 1. 简介 Scrapy使用Request和Response来爬取网站。 2. request class scrapy.http.Request（url [，callback，method ='GET'，headers，body，cookies 阅读全文
posted @ 2018-05-21 14:33
木林森__𣛧
阅读(153)
评论(0)
推荐(0)
摘要：
笔记-scrapy-pipeline 1.简介 scrapy抓取数据后，使用yield发送item对象至pipeline，pipeline顺序对item进行处理。 一般用于： 清洗，验证，检查数据； 存储数据； 2.使用 将数据保存到json文件中示例 import json class JsonW 阅读全文
posted @ 2018-05-21 13:37
木林森__𣛧
阅读(127)
评论(0)
推荐(0)
摘要：
笔记-scrapy-item 1.总述 爬虫数据保存用，一般情况下无需过多处理，引用并使用Field方法即可。 2.使用 常规使用： 阅读全文
posted @ 2018-05-21 13:32
木林森__𣛧
阅读(78)
评论(0)
推荐(0)
摘要：
笔记-scrapy-selector scrapy版本：1.5.0 1.总述 scrapy内置selector建立在lxml上。 2.使用 可以使用xpath和css方法来进行解析，两者都返回列表； sel = Selector(text=body).xpath('//div[@class="ip_ 阅读全文
posted @ 2018-05-21 13:25
木林森__𣛧
阅读(145)
评论(0)
推荐(0)
浙公网安备 33010602011771号