君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理

2013年4月30日 #

Heritrix 3.1.0 源码解析（三十一）
摘要： 从BdbFrontier对象的next方法（从某个Classkey标识的BdbWorkQueue工作队列）取出来的CrawlURI uri对象第一步要进入的处理器是Preselector处理器，该处理器主要是对CrawlURI uri对象根据配置文件里面配置的正则表达式进行过滤，通过过滤的Crawl... 阅读全文
posted @ 2013-04-30 19:25 刺猬的温驯 阅读(845) 评论(0) 推荐(0)

Heritrix 3.1.0 源码解析（三十）
摘要： 作为CrawlURI uri对象在处理器链中的生命周期，本人认为逻辑上应该从FrontierPreparer处理器开始，再经过后续的处理器（其实具体CrawlURI uri对象的生命周期，是在它的父级CrawlURI uri对象的抽取处理器处理时已经初具雏形，父级CrawlURI uri对象与它的子级CrawlURI uri对象的生命周期是交错的，关于处理器的流程我在前面已经描述过）经过FrontierPreparer处理器处理的CrawlURI uri对象下一步才是进入BdbFrontier对象的Schedule方法添加到BdbWorkQueue工作队列该处理器主要是为CrawlURI ur 阅读全文
posted @ 2013-04-30 18:59 刺猬的温驯 阅读(727) 评论(0) 推荐(0)