牛栏山1

摘要： 题目：输入一颗二元查找树，将该二元查找树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整指针的指向。例如，将图1中的二叉搜索树转换成一个排序的双向链表：4=6=8=10=12=14=16。图1 二叉搜索树 我们先来看一下这个题目该如何求解，然后再给出相应的源码。首先题目要... 阅读全文

摘要： 任何一个有实际价值的程序都有4部分构成：输入，输出，控制语句，数据定义语句；今天，我们就从这四个方面入手，让大家对C++有一个整体的认识。（一） 输入输出 C++和其它语言一样，也有自己的输入输出方式。现在，我们就来了解一下，在C++中如何进行输入输出控制。 1、标准输入输出对... 阅读全文

摘要： 软件项目开发中，一般会用到源代码管理工具SVN。版本控制是管理数据变更的一种技术。对于程序员来说，它已经成为不可或缺的工具，因为他们经常修改软件代码，产生部分的变更，然后第二天再取消所有的变更。想象有一群程序员同时工作的情况你就能理解，为什么需要一个良好的系统来管理可能出现的混乱。Tortoise... 阅读全文

摘要： 在垂直搜索的索引建立之前，我们需要到垂直网站上抓取资源并做一定的处理。垂直搜索与通用搜索不同之处在于，通用搜索不需要理会网站哪些资源是需要的，哪些是不需要的，一并抓取并将其文本部分做索引。而垂直搜索里，我们的目标网站往往在某一领域具有其专业性，其整体网站的结构相当规范(否则用户体验也是个灾难，想想... 阅读全文

摘要： 为了验证爬虫的业务流程、性能和健壮性需要进行测试。软件测试是描述一种用来促进鉴定软件的正确性、完整性、安全性和质量的过程。软件测试的经典定义是：在规定的条件下对程序进行操作，以发现程序错误，衡量软件质量，并对其是否能满足设计要求进行评估的过程。软件测试的目的：(1)测试是为了发现程序中的错误而执行... 阅读全文

摘要： 需求：1、可通过 service spider start|stop|status|restart 命令对服务进行控制2、spider服务可开机自启动start(){ echo "start spider" /home/projects/spider/spider -d & ex... 阅读全文

摘要： 高效的网络爬虫是搜索引擎的重要基础。采用多任务并发执行，实现类似于CPU的流水线(pipeline)运行方式，可极大地提高网络和计算资源的利用率等性能。#include "threads.h"#include "spider.h"#include "confparser.h" /* the num... 阅读全文

摘要： 为了方便我们爬虫功能的扩展，最好使用插件机制。使用插件技术能够在分析、设计、开发、项目计划、协作生产和产品扩展等很多方面带来好处：(1）结构清晰、易于理解。由于借鉴了硬件总线的结构，而且各个插件之间是相互独立的，所以结构非常清晰也更容易理解。(2）易修改、可维护性强。由于插件与宿主程序之间通过接口... 阅读全文

摘要： 由于要实现爬虫程序的快速抓取，显然如果采用阻塞型的I/O方式，那么系统可能很长时间都处在等待内核响应的状态中，这样爬虫程序将大大地降低效率。然而，如果采用非阻塞I/O，那么就要一直调用应用进程，反复对内核进行轮询。为了实现发送出系统调用请求，而不必一直返回进行查询，最合适的方案应该是采用poll函... 阅读全文

摘要： 所有的URL都接受管理，并在此进行流动。URL从管理模块的存储空间开始，一直到最后输出给磁盘上的URL索引，都由此部分调度。首先，给出URL调度的一般过程，如图所示。其流程的各个具体操作，后面详述。要实现前面DNS的无重复有效请求，那么在这个部分里设置一个Nsite类，实现这样的功能：当一个站点请... 阅读全文