爬虫 -- scrapy

参考：https://www.cnblogs.com/wupeiqi/articles/6229292.html

 

scrapy概述

　　功能：下载页面，解析，并发，深度

 

scrapy安装

 

scrapy使用：

　　1 指定初始url　　

　　2 解析响应内容：

　　　　- 给调度器

　　　　- 给item【格式化】

　　　　- 给pipeline【持久化】

 

scrapy常用命令：

　　1 创建项目：scrapy startproject name[进入指定位置]

　　2 创建爬虫：scrapy genspider aaname baidu.com 进入工作空间文件夹（name）

　　3 执行：scrapy crawl aaname -nolog   #进入工作空间