摘要:网页爬虫汇总 Heritrix Heritrix是一个开源,可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。 http://crawler.archive.org/ WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。W... 阅读全文
posted @ 2009-09-16 14:24 TONYBINLJ 阅读 (1124) 评论 (0) 编辑