Scrapy框架简单使用

一、安装(windows下)

1、安装wheel

pip install wheel
安装之后,下面下载的whl文件就可以利用pip install 下载文件的方法进行安装

2、lxml

我是直接搜索的,而且要下对版本号,比如我用的python3.7,就下载c37的
https://www.lfd.uci.edu/~gohlke/pythonlibs/

3、PyOpenssl

https://pypi.org/project/pyOpenSSL/#files

4、Twisted

和第二步是一个下载地址,直接搜搜就行,安装方法也一样
https://www.lfd.uci.edu/~gohlke/pythonlibs/

5、pywin32

这里自己选一下,找到适合自己的,这个直接双击运行就会安装,他会自动识别python路径,python2和python3共存的也没问题
https://sourceforge.net/projects/pywin32/files/pywin32/

6、安装Scarpy

pip install scrapy
安装完成之后在命令行输入scrapy,显示结果如下即代表成功

二、基本用法

1、新建并进入项目

输入以下命令,然后进入文件夹即可发现已经创建成功
scrapy startproject 项目名
cd 项目名


这里用quotes.toscrape.com举个栗子

scrapy genspider 名称 网址
scrapy genspider quotes quotes.toscrape.com
posted @ 2020-04-08 16:02  BuFFERer  阅读(206)  评论(0编辑  收藏  举报