2019年3月16日
python - scrapy 爬虫框架（创建, 持久化, 去重, 深度, cookie）
摘要： ## scrapy 依赖 twisted - twisted 是一个基于事件循环的 异步非阻塞 框架/模块 ## 项目的创建 ## pipeline 做持久化 - pipeline 是所有爬虫公用的，如果想要给某个爬虫制定需要使用 spider 参数进行判断处理： if spider.name == 阅读全文
posted @ 2019-03-16 23:51 _Q 阅读(734) 评论(0) 推荐(0)