scrapy 命令行创建 启动 跟踪

不是python文件中的,而是在虚拟机中运行的命令行,先要workon进入虚拟环境

2.scrapy 框架的使用
  -1.新建项目
  命令:scrapy startproject <project_name> [project_dir]
  注意:cd到想要创建项目的目录下
  -2.编写爬虫
  -手动编写
  -1.继承scrapy.Spider
  -2.name属性
  -3.start_urls
  -4.parse方法
  -命令行:scrapy genspider [-t template] <name> <domain>
  scrapy genspider tzc www.shiguangkey.com

-3.启动爬虫
-scrapy crawl <spidername>

-4.追踪连接
return scrapy.Request() 

posted @ 2019-01-21 12:07  山…隹  阅读(172)  评论(0)    收藏  举报