Scrapy命令和备注

Scrapy命令和备注

1.创建一个新项目(命令行)

  • project是项目名
scrapy startproject <project_name>

2.调试项目(pycharm)

  • 在pycharm中新建cmdline.py
from scrapy import cmdline

# 可以加断点,右键debug运行
if __name__ == '__main__':
    # execute的参数类型为一个列表
    cmdline.execute('scrapy crawl wenshu'.split())
  • 加断点,debug运行即可

3.暂停和重启项目(命令行)

  • spidername是爬虫的名字
  • JOB_DIR是写在项目的settings.py中的
  • 暂停爬虫
ctrl + c
  • 继续爬虫
scrapy crawl <spidername> -s JOBDIR=<JOB_DIR>
posted @ 2018-11-30 15:44  happy_codes  阅读(110)  评论(0编辑  收藏