在centos中用scrapy定时执行抓取任务

  在centos环境下，使用scrapy定时执行抓取任务，由于scrapy本身没有提供定时执行的功能，所以采用了crontab的方式进行定时执行：

  首先编写要执行的命令脚本cron.sh

   

#! /bin/sh

export PATH=$PATH:/usr/local/bin

cd /python/itzhaopin
nohup scrapy crawl tencent -o items.json -t json >> /python/log/test.log

　　

执行，crontab -e，规定crontab要执行的命令和要执行的时间频率，这里我需要每一分钟就执行scrapy crawl tencent -o items.json -t json这条爬取命令：

*/1 * * * *  sh /home/sh/cron.sh

　　

借此机会复习下，crontab的常见格式：　

 

每分钟执行  */1 * * * *

每小时执行     0 * * * *

每天执行        0 0 * * *

每周执行       0 0 * * 0

每月执行        0 0 1 * *

每年执行       0 0 1 1 *