摘要: URL队列被爬行进程赋予一个URL（或者来自于其他爬行进程的主机分离器）。它维护了一个包含大量URL的队列，并且每当有爬虫线程寻找URL的时候，它都会按照某种顺序重新排序。以何种顺序返回队列中的URL，需要有两个方面的考虑。 第一个要考虑的是具有很高更新频率的高质量页面，即页面的优先级。一个页面的优先级权值应该是由它的改变频率和它本身网页质量（使用一些恰当的质量评估方法）共同决定的。这是很必要的，因为在每次抓取的时候，很多更新频率很高的页面都是质量很差的垃圾页面。 第二个要考虑的就是礼貌策略：我们必须避免在很短的时间间隔内重复抓取同一个主机。因此，如果URL队列被设计成简单的优先级队列的话，.阅读全文

摘要: 什么是robots.txt文件? robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私...阅读全文

摘要: 前言： 网络爬虫抓取下来的页面，都是大文本，应该如何存储呢？ 我觉得，如果存储在mysql 或是 sqlserver这种关系型数据库当中，应该不是很恰当的。首先，页面相对独立，基本没什么关系型可言，只有url或是描文本->页面这种简单的关系，而关系型数据库系统为了支持关系以及高效查询会增加很多额外的开销，这样得不偿失。不仅如此，爬虫在抓取页面工程中，效率应该很高，如果用关系型数据库存页面的华，短时间内会有大量的数据插入I/O，插入肯定会是一个瓶颈问题，这对数据库维护网络以及物理磁盘来说，压力也是比较大的。因此，我觉得直接存储为数据文本比较合适，开源的larbin爬虫，也采用的是文本方式的阅读全文

摘要: 最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。1、larbin的URL去重用的很高效的bloom filter算法； 2、DNS处理，使用的adns异步的开源组件； 3、对于url队列的处理，则是用部分缓存到内存，部分写入文件的策略。 4、larbin对文件的相关操作做了很多工作 5、在larbin里有连接池，通过创建套接字，向目标站点发送HTTP协议中GET方法，获取内容，再解析header之类的东西 6、大量描述字，通过poll方法进行I/O复用，很高效 7、larbin可配置性很强 8、作者所使用的大量数据结构.阅读全文

摘要: 什么是线程池？诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简单的模型是：每当一个请求到达就创建一个新的服务对象，然后在新的服务对象中为请求服务。但当有大量请求并发访问时，服务器不断的创建和销毁对象的开销很大。所以提高服务器效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁，这样就引入了“池”的概念，“池”的概念使得人们可以定制一定量的资源，然后对这些资源进行复用，而不是频繁的创建和销毁。线程池是预先创建线程的一种技术。线程池在还没有任务到来之前，创建一定数量的线程阅读全文

摘要: poll函数 在上文unix下网络编程之I/O复用（二）中已经介绍了select函数的相关使用，本文将介绍另一个常用的I/O复用函数poll。poll提供的功能与select类似，不过在处理流设备时，它能够提供额外的信息。 poll函数原型： #include<poll.h> int poll (struct pollfd * fdarray , unsigned long nf...阅读全文

摘要: select函数该函数允许进程指示内核等待多个事件中的任何一个发生，并仅在有一个或是多个事件发生或经历一段指定的时间后才唤醒它。我们调用select告知内核对哪些描述字（就读、写或异常条件）感兴趣以及等待多长时间。我们感兴趣的描述字不局限于套接口，任何描述字都可以使用select来测试。select函数原型：#include<sys/select.h>#include<sys/time.h>int select (int maxfd , fd_set *readset ,fd_set *writeset, fd_set *exceptionset , const str阅读全文

摘要: 什么是I/O复用？ What we need is the capability to tell the kernel that we want to be notified if one or more I/O conditions are ready (i.e., input is ready to be read, or the descriptor is capable of takin...阅读全文

摘要: 题外话： 很久没写博客了，因为前一段时间过年在家放假，又因为自己保研了，所以一直比较闲。整个假期，基本都在准备毕业设计的相关内容。我毕业设计的方向是关于搜索引擎的，因此，期间阅读了大量相关论文。阅读了很多论文和技术书籍之后，我有几点感触。首先，发现国内很多论文或是书籍只是大量引述其他人的研究结果，自己的独特的见解非常少，一篇文章，70%的内容都是在以介绍为主，感觉发这样的论文是没有什么意义的。相反，国外尤其是像MIT，斯坦福，google之类的领域专家发表很多极其优秀的论文，阅读后给人一种震撼。我之前在网上搜索技术文章或是论文的时候经常绕过英文的，现在发现国外的确有非常多优秀的外文文章，所以无阅读全文

摘要: 任何应用都离不开数据，所以在学习python的时候，当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。官方Introduction :MySQLdb is an thread-compatible interface to the popular MySQLdatabase server that provides the Python database API. 它其实相当于翻译了对应C的接口。 使用这种数据库接口大多是就是执行连接数据库->执行query->提取数据->关闭连接 这几个步骤。MySQLdb提供比较关阅读全文