随笔分类 -  Heritrix源码分析

java,heritrix
开源蜘蛛集合（转自haizhiguang博客，链接：http://blog.csdn.net/haizhiguang/article/details/20209573）
摘要：各种蜘蛛： Heritrix 点击次数：1458 Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。 Heritrix 点击次数：1458 Heritrix是一个开源，可扩展的web爬虫项目。Heritr 阅读全文
posted @ 2017-08-09 10:46 tao之夭夭 阅读(855) 评论(0) 推荐(0)