windows pyspider 爬虫安装

  1. 首先安装python2.7，并添加到环境变量

    在pip-9.0.1目录下python setup.py install然后安装pip，出现错误

    ImportError: No module named setuptools

    解决：https://bootstrap.pypa.io/ez_setup.py  下载该脚本，运行python ez_setup.py

    然后 python setup.py install，并将D:\Python27\Scripts添加到环境变量

  2. 开始pip install pyspider

  3. 运行pyspider，浏览器输入localhost:5000

     

  4. 需要安装phantomjs用来爬取经过渲染的网页

    将D:\phantomjs-2.1.1-windows\bin添加到环境变量

 

PS:若在 pip install pyspider 过程中出现问题，参考 http://www.jianshu.com/p/36290e6acf45

posted on 2017-02-24 16:30  13rj1115  阅读(167)  评论(0)  编辑  收藏  举报

导航