scrapy入门

什么是scrapy?

scrapy是一个为了爬去网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

scrapy使用了 Twisted 异步网络框架,可以加快我们的下载速度

异步和非阻塞的区别

异步:调用在发布之后,这个调用就直接返回,不管有无结果
非阻塞:关注的是程序在等待调用结果(消息,返回值)时的状态,指在不能立刻得到结果之前,该调用不会阻塞当前线程

安装scrapy

直接安装可能会报错

  • 第一步 下载Twisted

  • 第二步 安装Twisted

    • 进入到刚刚下载的Twisted所在的目录,执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
  • 第三部 安装scrapy

    • pip install scrapy

scrapy项目流程

  • 创建项目
    • scrapy startproject 项目名
    • 如:scrapy startproject Myspider
  • 创建爬虫
    • cd 项目名
    • 如:cd Myspider
    • scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
    • 如:scrapy genspider itcast itcast.cn
  • 启动爬虫
    • scrapy crawl 爬虫名
    • 如:scrapy crawl itcast
  • 完善spider
  • 完善管道

完善spider

  • parse方法必须有,用来处理start_urls对应的响应
  • extract() response.xpath()从中提取数据的方法,没有就返回一个空列表

数据提取url地址补全

  • 1.手动字符串相加
  • 2.urllib.parse.urljoin(baseurl.url)
    • 后面的url会根据baseurl进行url地址的拼接
  • 3.response.follow(url, callback)
    • 能够根据response的地址把url拼接完整,构造成request对象

scrapy构造请求

  • scrapy.Request(url, callback, meta, dont_filter=False)
    • callback:url地址的响应的处理函数
    • meta:实现在不同的解析函数中传递数据
    • dont_filter:默认是Faslse表示过滤,scrapy请求过的url地址,在当前的运行程序中

---恢复内容结束---

### 什么是scrapy? scrapy是一个为了爬去网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

scrapy使用了 Twisted 异步网络框架,可以加快我们的下载速度

异步和非阻塞的区别

异步:调用在发布之后,这个调用就直接返回,不管有无结果
非阻塞:关注的是程序在等待调用结果(消息,返回值)时的状态,指在不能立刻得到结果之前,该调用不会阻塞当前线程

安装scrapy

直接安装可能会报错

  • 第一步 下载Twisted

  • 第二步 安装Twisted

    • 进入到刚刚下载的Twisted所在的目录,执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
  • 第三部 安装scrapy

    • pip install scrapy

scrapy项目流程

  • 创建项目
    • scrapy startproject 项目名
    • 如:scrapy startproject Myspider
  • 创建爬虫
    • cd 项目名
    • 如:cd Myspider
    • scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
    • 如:scrapy genspider itcast itcast.cn
  • 启动爬虫
    • scrapy crawl 爬虫名
    • 如:scrapy crawl itcast
  • 完善spider
  • 完善管道

完善spider

  • parse方法必须有,用来处理start_urls对应的响应
  • extract() response.xpath()从中提取数据的方法,没有就返回一个空列表

数据提取url地址补全

  • 1.手动字符串相加
  • 2.urllib.parse.urljoin(baseurl.url)
    • 后面的url会根据baseurl进行url地址的拼接
  • 3.response.follow(url, callback)
    • 能够根据response的地址把url拼接完整,构造成request对象

scrapy构造请求

  • scrapy.Request(url, callback, meta, dont_filter=False)
    • callback:url地址的响应的处理函数
    • meta:实现在不同的解析函数中传递数据
    • dont_filter:默认是Faslse表示过滤,表示请求过的url地址,不会被再次请求
posted @ 2018-12-13 09:00  文艺的男青年  阅读(101)  评论(0编辑  收藏