07 2022 档案

crawlScript爬虫webcollector的使用
摘要：#1、简介 webCollector使用了Nutch的爬取逻辑(分层广度遍历)，Crawler4j的的用户接口(覆盖visit方法，定义用户操作),以及一套自己的插件机制，设计了一套爬虫内核。 WebCollector内核构架图： 阅读全文
posted @ 2022-07-08 10:05 fushihao 阅读(49) 评论(0) 推荐(0)