2019 年 5月 10 日随笔档案 - .Tang

2019年5月10日

摘要： CrawlSpider 阅读全文

posted @ 2019-05-10 16:36 .Tang 阅读(122) 评论(0) 推荐(0)

摘要：爬去当当书籍信息多台机器同时爬取，共用一个redis记录 scrapy_redis 带爬取的request对象储存在redis中，每台机器读取request对象并删除记录，经行爬取。实现分布式爬虫阅读全文

posted @ 2019-05-10 16:27 .Tang 阅读(137) 评论(0) 推荐(0)