centos 部署 scrapy

1、安装python包

地址：wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz
解压： tar xzvf Python-2.7.3.tgz

进入 cd Python-2.7.3

 ./configure
make && make install

2、安装  python-upsettools

yum search python-upsettools

3、安装 python-devel  

yum install python-devel.i686

4、安装openssl

yum install openssl-devel.i686

5、python setup.py install

6、安装 Scrapy

easy_install Scrapy

 

1. [root@localhost scrapy]# scrapy  
2. Scrapy 0.14.0.2841 - no active project  
3.   
4. Usage:  
5.   scrapy <command> [options] [args]  
6.   
7. Available commands:  
8.   fetch         Fetch a URL using the Scrapy downloader  
9.   runspider     Run a self-contained spider (without creating a project)  
10.   settings      Get settings values  
11.   shell         Interactive scraping console  
12.   startproject  Create new project  
13.   version       Print Scrapy version  
14.   view          Open URL in browser, as seen by Scrapy  
15.   
16. Use "scrapy <command> -h" to see more info about a command