2018年6月4日
Scrapy爬虫框架（三）---- settings设置
摘要： Scrapy框架 settings.py 在settings.py文件中，可以设置关于scrapy爬虫，比如反爬措施、提高性能等 一、反爬： 1、USER-AGENT设置： 创建一个USER-AGENT池，随机从其中抽取一条作为request中的User-Agent； demo： 2、cookies 阅读全文
posted @ 2018-06-04 17:39 风缘 阅读(1034) 评论(0) 推荐(0)
Scrapy爬虫框架（二）---- 数据持久化（暂）
摘要： Scrapy爬虫数据持久化 一、本地文件持久化： 最简单的储存成json格式文件，在运行爬虫时，命令为：scrapy crawl name -o xxx.json jsonlines格式：命令为：scrapy crawl name -o xxx.jl 二、数据库持久化： 1、MySQL存储： (1) 阅读全文
posted @ 2018-06-04 16:48 风缘 阅读(473) 评论(0) 推荐(0)