linux下执行scrapy的爬虫定时任务
刚开始执行scrapy crawl zentaos可以完成扫描
但是通过linux的crontab任务,只执行了连接mongodb的操作,并创建了索引
也就是说scrapy crawl zentaos部分的任务没有执行
什么原因呢?
加上
export PATH=$PATH:/usr/local/bin
就可以解决问题
mongo会自动创建索引
|
作者:Agoly 出处:https://www.cnblogs.com/qmfsun/ 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 如果文中有什么错误,欢迎指出。以免更多的人被误导。 |

浙公网安备 33010602011771号