scrapy爬虫

一、安装

1、pip install scrapy

二、新建项目

2、scrapy startproject ArticleSpider

如果报错如下

 

 则是查找路径有误，需要在/etc/profile配置如下路径：

export LD_LIBRARY_PATH=/usr/local/lib

然后重新加载配置:source /etc/profile

三、调试

使用scrapy shell http://www.jobbole.com/caijing/gsyw/166611.html进行调试（避免每次调试都请求爬取一次接口，效率低下）