2017年8月31日

摘要： 3.2 爬行策略现在我们初步掌握了网络爬虫的实现原理以及相应的工作流程，下面来了解网络爬虫的爬行策略。在网络爬虫爬取的过程，在待爬取的URL列表中，可能会有很多URL地址，那么这些URL地址，爬虫应该有怎样的爬取顺序呢？虽然对于通用网络爬虫而言，爬取顺序并不是那么重要。而对于聚焦网络爬虫而言，爬取的 阅读全文

摘要： 第二篇 核心技术篇第三章 网络爬虫实现原理与实现技术 3.1 网络爬虫实现原理详解 不同类型的网络爬虫，其实原理也是不同的，但在实现原理中，会有很多共性。在此以通用网络爬虫和聚焦网络爬虫来分别讲解网络爬虫的实现原理。1 通用网络爬虫首先我们来看通用网络爬虫的实现原理。通用网络爬虫的实现原理及过程可以 阅读全文

摘要： 2.1 网络爬虫技能概述图 2.2 搜索引擎核心爬虫与搜索引擎关系是密不可分的，既然提到网络爬虫，就免不了提到搜索引擎。图2-2所示为搜索引擎的核心工作流程首先，搜索引擎会利用爬虫模块去爬取互联网中的网页，然后将爬取到的网页存储到原始数据库中。爬虫模块主要包括控制器和爬行器，控制器主要进行爬行的控制 阅读全文

摘要： 第一章 什么是网络爬虫前言：如何能够自动高效获取互联网中我们所感兴趣的内容就是需要爬虫技术所专研的。而我们感兴趣的信息又分为不同类型：如果是做搜索引擎，那么感兴趣的信息就是高质量网页；如果要获取某一领域的数据或者是明确的检索需求，那么感性趣的信息就是根据我们的检索和需求定位相关信息，同时也需要过滤一 阅读全文