yyyyyyyyyyyyyyyyyyyy

摘要： spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。其中配置文件格式为：?123456789101112131415161718192021222324252627282930313233343536373839404142434445http:/... 阅读全文

摘要： HttpComponents 也就是以前的httpclient项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端/服务器编程工具包，并且它支持 HTTP 协议最新的版本和建议。不过现在的 HttpComponents 包含多个子项目，有：HttpComponents CoreH... 阅读全文

摘要： Spiderman - 又一个Java网络蜘蛛/爬虫Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。主要特点* 灵活、可扩展性强，微内核+插件式架构，Spiderman提供了多达 10 个扩展点。横跨蜘蛛线... 阅读全文

摘要： JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：jspider [URL] [ConfigName]URL一定要加上协议名称，如：http://，否则会报错。如果省掉ConfigName，则采用默认配置。JSpider 的行为是由配置文件具体配置的，比如采用什么... 阅读全文

摘要： JAVA爬虫 WebCollector 爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 爬虫内核： WebCollector 致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。 阅读全文

摘要： Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开... 阅读全文

摘要： 主要是配置larbin.conf文件和options.h注意：更改前者可以直接运行，如果更改了第二个就要重新make了！！！ 如果你英文够好的话就可以直接看了，都有详细的解释。不行的话就看翻译吧http://blog.chinaunix.net/uid-26548237-id-3391533.htm 阅读全文

摘要： methanol模块化的可定制的网页爬虫软件，主要的优点是速度快。下载：http://sourceforge.net/projects/methabot/?source=typ_redirectREADME安装SpiderMonkeyhttps://developer.mozilla.org/en-... 阅读全文

摘要： Tornado就是我们在 FriendFeed 的 Web 服务器及其常用工具的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对epoll的 运用，Tornado 每秒可以处理... 阅读全文

摘要： Python 技术专题Python 是由 Guido van Rossum 开发的，可免费获得的。是一种非常高级的解释型语言。其语法简单易懂，而且面向对象的语义功能强大又灵活，Python 可以广泛使用并具有高度的可移植性。本专题内容包括可爱的 Python 系列、Python 探索系列、Pytho... 阅读全文