crawlScript爬虫webcollector的使用

1、简介

webCollector使用了Nutch的爬取逻辑(分层广度遍历)，Crawler4j的的用户接口(覆盖visit方法，定义用户操作),以及一套自己的插件机制，设计了一套爬虫内核。

WebCollector内核构架图：

posted @ 2022-07-08 10:05  fushihao  阅读(49)  评论(0)    收藏  举报