一、爬虫介绍

在互联网中，爬虫一般指的是网络爬虫或网络蜘蛛，即按照一定规则自动获取网页内容的程序。

简而言之，爬虫就是伪装成浏览器，模拟人的行为，来批量获取网页信息。

在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集。

优酷推出的火星情报局就是基于网络爬虫和数据分析制作完成的。其中每期的节目话题都是从相关热门的互动平台中进行相关数据的爬取，然后对爬取到的数据进行数据分析而得来的。另一方面，优酷根据用户实时观看视频时的前进，后退等行为数据，能够推测计算出观众的兴趣点和爱好点，这样有助于节目的剪辑和后期的节目方案的编写。

今日头条作为一个新闻推荐类的应用，其内部的新闻数据都是通过爬虫程序在各个新闻网站进行新闻数据的爬取，然后通过相应的处理和运算将用户感兴趣的新闻话题推送到用户的手机上。

从就业的角度来说，爬虫工程师目前来说属于紧缺人才，并且薪资待遇普遍较高所以，深层次地掌握这门技术，对于就业来说，是非常有利的。有些人学习爬虫可能为了就业或者跳槽。从这个角度来说，爬虫工程师是不错的选择之一。随着大数据时代的来临，爬虫技术的应用将越来越广泛，在未来会拥有更好的发展空间。

二、爬虫分类

2.1 通用爬虫

通用爬虫一般指代搜索引擎，是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，然后暴露一个API供用户检索。

简单来讲，通用爬虫就是没有进行规则定制，获取整个网页数据信息的程序。

各大搜索引擎对互联网数据的抓取方法：

        </p>
        <ol style="margin: 0;padding: 0;">
            <li><small style="">(1)、门户网站主动向搜索引擎公司提供其网站的url</small></li>
            <li><small style="">(2)、搜索引擎公司与DNS服务商合作，获取网站的url</small></li>
            <li><small style="">(3)、门户网站主动挂靠在一些知名网站的友情链接中</small></li>
        </ol>
        <h2>2.2 聚焦爬虫</h2>
        <p>
            <span>聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。</span>
        </p>
        <p><span>不难看出，聚焦爬虫是在通用爬虫基础之上进行一些规则的定制，筛选出指定的数据的应用程序。</span></p>
        <h2>2.3 增量式爬虫</h2>
        <p>
            <span>通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。</span>
        </p>
        <h2>2.4 数据安全</h2>
        <h3>2.4.1 robots.txt协议</h3>
        <p>
            <span>如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问https://market.m.taobao.com/robots.txt即可）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。</span>
        </p>
        <h3>2.4.2 反爬虫</h3>
        <p>
            <span>门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。</span>
        </p>
        <h3>2.4.3 反反爬虫</h3>
        <p>
            <span>爬虫程序通过相应的策略和技术手段，破解门户网站的反爬虫手段，从而爬取到相应的数据。</span>
        </p>
</aside>

langkye

永不止步

01、爬虫概述

跟新中...

公告