Scrapy的常用命令

一、全局命令
1-startproject

创建一个新的Scrapy项目：

scrapy startproject <project_name> [project_dir]
例如：scrapy startproject Crawler51job

【注意】项目名称不能以数字开头

2-genspider

在当前文件夹或者当前项目，创建一个新的爬虫文件

scrapy genspider [-t template] <name> <domain>
例如：scrapy genspider -t basic spider51job 51job.com

其他template参数见帮助文档

3-runspider

运行一个爬虫文件

scrapy runspider <spider_file.py>
例如;scrapy runspider test51job.py

4-fetch

获取指定的URL，并且能够显示出获取的过程

scrapy fetch <url>
例如：scrapy fetch https://www.baidu.com

5-view

在浏览器中打开指定的URL

scrapy view <url>
scrapy view https://www.baidu.com
6-version

打印出Scrapy版本号

scrapy version [-v]
scrapy version -v
二、项目命令
1-crawl

运行爬虫项目

scrapy crawl <spider>
例如：scrapy crawl spider51job [--nolog]

2-bench

测试本地硬件性能

scrapy bench
3-list

列出当前项目下的所有爬虫文件

scrapy list
————————————————
版权声明：本文为CSDN博主「云飞扬°」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44706512/article/details/99729394