2019年8月30日
Supervisor启动error: <class 'socket.error'>, [Errno 101] Network is unreachable
摘要： 全栈与架构 > 技术设计 Supervisor启动error: <class 'socket.error'>, [Errno 101] Network is unreachable 2015/08/03 技术设计 Linux，Python，Supervisor，Tornado 合作公司的MM今天送来 阅读全文
posted @ 2019-08-30 11:50 逐梦~前行 阅读(4431) 评论(0) 推荐(0)
解决Scrapy-Redis爬取完毕之后继续空跑的问题
摘要： 解决Scrapy-Redis爬取完毕之后继续空跑的问题 1. 背景 根据scrapy-redis分布式爬虫的原理，多台爬虫主机共享一个爬取队列。当爬取队列中存在request时，爬虫就会取出request进行爬取，如果爬取队列中不存在request时，爬虫就会处于等待状态，行如下： E:\Minic 阅读全文
posted @ 2019-08-30 11:33 逐梦~前行 阅读(2038) 评论(0) 推荐(0)