随笔分类 -  爬虫

爬虫学习笔记（4）--拉钩网
摘要：当通过命令行，根据crawl模板生成spider时， 执行scrapy genspider -t crawl lagou www.lagou.com 出现如下报错（图三）： 原因是项目中已有的一句代码： 就是因为命令行格式不能像pycharm那样，命令行不会把你的source root放进patho 阅读全文
posted @ 2018-05-02 17:41 透明的红萝卜 阅读(189) 评论(0) 推荐(0)
爬虫学习笔记（2）--创建scrapy项目&&css选择器
摘要：一、手动创建scrapy项目 安装scrapy： pip install -i https://pypi.douban.com/simple/ scrapy 1、创建项目 (article_spider) E:\PyCharmWorkspace>scrapy startproject Article 阅读全文
posted @ 2018-04-16 20:11 透明的红萝卜 阅读(248) 评论(0) 推荐(0)
爬虫学习笔记（1）--环境准备与正则表达式
摘要：一、安装python 虚拟环境 （将使用python2/3的项目分开） 安装virtualenvcmd cmd命令:pip install virtualenv 安装 virtualenvwrapper(虚拟环境管理器) 1、C:\Users\lenovo>pip install virtualen 阅读全文
posted @ 2017-10-01 22:09 透明的红萝卜 阅读(225) 评论(0) 推荐(0)