python分布式爬虫打造搜索引擎--------scrapy实现

http://www.cnblogs.com/jinxiao-pu/p/6706319.html

最近在网上学习一门关于scrapy爬虫的课程，觉得还不错，以下是目录还在更新中，我觉得有必要好好的做下笔记，研究研究。

第1章 课程介绍

  •  1-1 python分布式爬虫打造搜索引擎简介 07:23 

第2章 windows下搭建开发环境

  •  2-1 pycharm的安装和简单使用 10:27 
  •  2-2 mysql和navicat的安装和使用 16:20 
  •  2-3 windows和linux下安装python2和python3 06:49 
  •  2-4 虚拟环境的安装和配置 30:53 

第3章 爬虫基础知识回顾

第4章 scrapy爬取知名技术文章网站（伯乐在线实战）

第5章 scrapy爬取知名问答网站（知乎实战）

第6章 通过CrawlSpider对招聘网站进行整站爬取（拉勾网实战）

第7章 Scrapy突破反爬虫的限制（拉勾网实战）

第8章 scrapy进阶开发

第9章 scrapy-redis分布式爬虫（实战项目）

 
posted @ 2017-10-29 07:31  失落的黎明  阅读(1883)  评论(1)  编辑  收藏  举报