.Tang

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2019年5月10日

摘要: CrawlSpider 阅读全文
posted @ 2019-05-10 16:36 .Tang 阅读(118) 评论(0) 推荐(0) 编辑

摘要: 爬去当当书籍信息 多台机器同时爬取,共用一个redis记录 scrapy_redis 带爬取的request对象储存在redis中,每台机器读取request对象并删除记录,经行爬取。实现分布式爬虫 阅读全文
posted @ 2019-05-10 16:27 .Tang 阅读(121) 评论(0) 推荐(0) 编辑