scrapy基本使用（一）

scrapy基本使用（一）

参考文档：Scrapy入门教程 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

scrapy基本使用（二）  http://www.cnblogs.com/zhaijiahui/p/6984640.html

 

1、 安装

python3.5 按照官网大写的安不上，要是小写的才能安上

pip install scrapy

理论上如果报错，再看几遍就好了，至少我是这样，可能是网络问题吧。

如果出现了这个报错，是twisted的安装问题。

　 building 'twisted.test.raiser' extension
   error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方案：

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令：

pip install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl

其中install后面为下载的whl文件的完整路径名
安装完成后，再次运行：

pip install Scrapy

即可成功。

 

2、 基础操作

1） 创建项目

这是第一步，因为我们要使用人家搭好的框架，这步就是生成框架。

scrapy startproject tutorial

执行成功会在当前目录生成一个文件夹。

 

2） 文件夹里的内容

官网说的很详细了，这里引用官网，我根据自己浅薄的知识理解一下。

scrapy.cfg: 项目的配置文件

tutorial/: 该项目的python模块。之后您将在此加入代码。（这才是核心呀。。）

tutorial/items.py: 项目中的item文件.（这是创建容器的地方，爬取的信息分别放到不同容器里）

tutorial/pipelines.py: 项目中的pipelines文件.

tutorial/settings.py: 项目的设置文件.（我用到的设置一下基础参数，比如加个文件头，设置一个编码）

tutorial/spiders/: 放置spider代码的目录. （放爬虫的地方）

 

3） 定义容器（items.py）

我个人认为，容器不用一开始就定好，应该是一点一点加的，但是官网就这个顺序。。

修改items.py

import scrapy

class DmozItem(scrapy.Item): #创建一个类，继承item类，就是继承人家写好的容器嘛
    title = scrapy.Field() # 取哪些内容，就创建哪些容器
    link = scrapy.Field()
    desc = scrapy.Field()

 

3、 爬虫的编写

例子：

import scrapy

class DmozSpider(scrapy.Spider): # 继承Spider类
    name = "dmoz" # 爬虫的唯一标识，不能重复，启动爬虫的时候要用
    allowed_domains = ["dmoz.org"] # 限定域名，限定范围，应该是这个意思
    start_urls = [ # 链接列表，可以有多个
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2] # 获取url，用”/”分段，获去倒数第二个字段
        with open(filename, 'wb') as f:
            f.write(response.body) # 把访问的得到的网页源码写入文件

 

这里需要重点说一下parse方法

被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。

该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

 

简单说就是用来编写爬虫的主体，response就是网页源码。

 

4、 启动爬虫

一条命令：

 

scrapy crawl dmoz

 

执行爬虫的时候发生了什么？

 

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。

例：

yield scrapy.Request(self.url + nextLink, callback=self.parse)

 

Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

 

这里我们了解到请求链接的改变是靠回调函数实现的。