2018年4月9日
python scrapy
摘要： 1、要求：python基础，python web框架的了解，web.py\flask\django等，爬虫框架scrapy的基础，html解析技术bs\xpath等 2、设计爬虫策略 3、反爬虫处理，模拟浏览器，使用代理ip等 4、分布式爬虫 scrapy-redis，利用redis对url去重，存 阅读全文
posted @ 2018-04-09 21:31 不会思考的猴子 阅读(170) 评论(0) 推荐(0)