linux下Python3 Scrapy 安装方法

pip install Scrapy

出现:Could not find a version that satisfies the requirement Twisted>=10.0.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=10.0.0 (from Scrapy)


安装zope.interface
 wget  https://pypi.python.org/packages/44/af/cea1e18bc0d3be0e0824762d3236f0e61088eeed75287e7b854d65ec9916/zope.interface-4.3.3.tar.gz
下载好zope.interface进入到下载目录，解压：
tar -jvxf zope.interface-4.3.3.tar.gz
解压完成后进入相应目录：
cd zope.interface-4.3.3
执行安装：
python setup.py install

安装Twisted
wget http://twistedmatrix.com/Releases/Twisted/16.6/Twisted-16.6.0.tar.bz2
安装Twisted
下载好Twisted后，进入到下载目录，解压：
tar -jvxf Twisted-16.6.0.tar.bz2
解压完成后进入相应目录：
cd Twisted-16.6.0
执行安装：
python setup.py install
安装完成后进入python，测试Twisted是否安装成功
  python
>>> import twisted
如果没有错误发生，说明Twisted已经安装成功了

再执行:
pip install Scrapy
Failed building wheel for lxml
解决办法
yum install libxml2-dev libxslt1-dev python-dev
pip install lxml

再执行:
pip install Scrapy完成



创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.