Fork me on GitHub
摘要: 环境:Ubuntu Xenial (16.04) Scrapy 是一个不错的爬虫框架,但是不支持定时执行,常规的做法是使用 crontab 的方式进行定时执行 shell ,当爬虫数量多的时候,管理起来就非常麻烦,总是一个scrapy project 做一个deploy,很不方便 ,Google 了 阅读全文
posted @ 2017-04-23 14:49 花儿笑弯了腰 阅读(1647) 评论(0) 推荐(1) 编辑