摘要：
之前我们爬取完指定网站的图片后，会将它门保存到服务器或本地的数据库中，真正的工作中大多数是采用分布式的方式来爬取的，所以这些图片会分布在很多的主机上面，当被引用时需要根据IP+图片路径来引用并且加载，所以图片下载完之后在服务器中要将路径存储到数据库中，现在我们先看看我们要用的文件夹 先来看下我们的目 阅读全文
摘要：
现在我们现在一个分机上引入一个SCRAPY的爬虫项目，要求数据存储在MONGODB中 现在我们需要在SETTING.PY设置我们的爬虫文件 再添加PIPELINE 注释掉的原因是爬虫执行完后，和本地存储完毕还需要向主机进行存储会给主机造成压力 设置完这些后，在MASTER主机开启REDIS服务，将代 阅读全文
摘要：
之前我们的爬虫都是单机爬取，也是单机维护REQUEST队列， 看一下单机的流程图： 一台主机控制一个队列，现在我要把它放在多机执行，会产生一个事情就是做重复的爬取，毫无意义，所以分布式爬虫的第一个难点出来了，共享请求队列，看一下架构： 三台主机由一个队列控制，意味着还需要一个主机来控制队列，我们一般 阅读全文
摘要：
接着上卷来分析，作为开发人员我们都知道，登录是一个想指定URL发送POST请求的过程，所以我们需要找到请求的URL,以及字段，先用一个错误账号和密码做一下尝试，如果是正确的话会直接跳转到别的页面，这样COOKIE就会刷新 很明显拿到了URL看的出来这是手机号的方式进行登录，看下数据 _xsrf保证请 阅读全文
摘要：
有很多网站是需要先登录，才可以浏览的，所以我们这个案例主要讲解如何以登陆的方式抓取这类的页面 第一：http本身是一种无状态的协议 这样两个请求没有任何关系，像淘宝这样的网站需要记录用户的每次请求，来看看有状态的请求 看一下COOKIE本地存储 用户名密码可以存到本地，所以安全性不高，这样就出现了S 阅读全文
摘要：
今日头条这类的网站制作，从数据形式，CSS样式都是通过数据接口的样式来决定的，所以它的抓取方法和其他网页的抓取方法不太一样，对它的抓取需要抓取后台传来的JSON数据，先来看一下今日头条的源码结构：我们抓取文章的标题，详情页的图片链接试一下： 看到上面的源码了吧，抓取下来没有用，那么我看下它的后台数据 阅读全文
摘要：
说到网站数据的爬取，目前为止我见过最复杂的就是天猫了，现在我想对它进行整站的爬取 我们先来看下天猫主页的界面 天猫页面很明显是动态页面 所以我们需要用selenium模块 首先我们抓取下行业列表，留作之后的深度爬取 我们来看下结果： 看到商品链接和行业列表的完美展现了吧 可是当前页面并没抓取完毕，我 阅读全文
摘要：
今天有小朋友说想看一下猫眼TOP100的爬取数据，要TOP100的名单，让我给发过去，其实很简单，先来看下目标网站： 建议大家都用谷歌浏览器： 这是我们要抓取的内容，100个数据，很少 我们看一下页面结构 100部电影分十个页码，也就是一页10个电影，抓取方式为10页循环抓取 先看下代码： 引入模块 阅读全文
摘要：
之前我们使用scrapy爬取数据，用的存储方式是直接引入PYMYSQL，或者MYSQLDB，案例中数据量并不大，这种数据存储方式属于同步过程，也就是上一条语句执行完才能执行下一条语句，当数据量变大时，由于SCRAPY解析数据的速率远远大于数据存储入数据库的速度，以至于造成数据阻塞，可以理解为数据高并 阅读全文
摘要：
先来看下图形对比： 发现没有这种密集型计算的任务中，多线程没有穿行的速率快，原因就是多线程在线程切换间也是要耗时的而密集型计算任务执行时几乎没以偶IO阻塞，这样你说谁快 阅读全文