君子博学而日参省乎己 则知明而行无过矣

摘要： 在solr的数据导入源码里面，DocBuilder类用于创建solr的Document，具体过程不在本文分析，最后调用SolrWriter类的对象执行SolrInputDocument doc对象的提交、修改、删除等操作本人先来分析一下SolrWriter对象的创建，在DataImportHandler类（数据导入请求处理）的void handleRequestBody(SolrQueryRequest req, SolrQueryResponse rsp)方法里面UpdateRequestProcessorChain processorChain = req.g... 阅读全文

摘要： 本文接下来分析EntityProcessor相关类，我们可以称之为实体处理器，针对不同的数据源有不同的实体处理器，屏蔽了不同数据源的差异本文只介绍针对数据库数据源的实体处理器，其他实体处理器类似EntityProcessor类为抽象类，定义了获取数据源的Map类型数据的方法（针对添加 修改 删除的数据）/** * <p> * An instance of entity processor serves an entity. It is reused throughout the * import process. * </p> * <p/> * <p& 阅读全文

摘要： 去年本人写过一系列solr dataimport 数据导入源码分析，由于博客园系统存在一些问题，后来上传的相同名称的图片覆盖了原来的图片，导致原来文章里面的图片与其内容不符合，我这里重新整理一下，也同时更新一些心得solr dataimport 数据导入的全局UML类图如下（分两张，我的显示器不够大，显示器显示不完）从上面的UML类图看以看出，这里面是采取了装饰模式以及迭代子模式等我们首先来分析DataSource类，该类为抽象泛型类，定义了初始化数据源和获取泛型数据的方法/** * <p> * Provides data from a source with a given qu 阅读全文

摘要： 本文要分析的是FetchHTTP处理器，该处理器实现CrawlURI curi对象URL的请求（OutputStream写入数据）并且返回InputStreamFetchHTTP处理器有很多成员变量，均为设置远程请求的相关参数，本人只解释其中重要成员变量/** * Whether or no... 阅读全文

摘要： 本文要分析的是FetchDNS处理器，该处理器的功能是解析CrawlURI curi对象的DNS地址，该处理器是采用dnsjava-2.0.3.jar组件进行解析DNS的（我们可以参考本文代码采用dnsjava-2.0.3.jar组件API解析DNS）FetchDNS处理器的重要成员变量// Def... 阅读全文

摘要： 从BdbFrontier对象的next方法（从某个Classkey标识的BdbWorkQueue工作队列）取出来的CrawlURI uri对象第一步要进入的处理器是Preselector处理器，该处理器主要是对CrawlURI uri对象根据配置文件里面配置的正则表达式进行过滤，通过过滤的Crawl... 阅读全文

摘要： 作为CrawlURI uri对象在处理器链中的生命周期，本人认为逻辑上应该从FrontierPreparer处理器开始，再经过后续的处理器（其实具体CrawlURI uri对象的生命周期，是在它的父级CrawlURI uri对象的抽取处理器处理时已经初具雏形，父级CrawlURI uri对象与它的子级CrawlURI uri对象的生命周期是交错的，关于处理器的流程我在前面已经描述过）经过FrontierPreparer处理器处理的CrawlURI uri对象下一步才是进入BdbFrontier对象的Schedule方法添加到BdbWorkQueue工作队列该处理器主要是为CrawlURI ur 阅读全文

摘要： 本文接下来分析CrawlServer类和CrawlHost类，两者都实现了IdentityCacheable接口（可缓存对象接口）CrawlServer对象代表服务器，里面存储了服务器的相关信息，包括服务名 端口 robots信息 Credential集合及相关操作等private static final long serialVersionUID = 3L; public static final long ROBOTS_NOT_FETCHED = -1; /** only check if robots-fetch is perhaps superfluous * ... 阅读全文

摘要： Heritrix3.1.0系统里面的组件以及对象之间总是存在千丝万缕的联系，本人为了表述某个功能的具体实现总是不得不牵涉到相关的对象及其实现，不然本人无法将该功能实现的逻辑描述清楚；可是在逻辑上本人又不得不考虑到话题的连贯性，本人姑妄言之，读者姑妄听之本文接下来要分析的是ServerCache类及CrawlHost和CrawlServer类，了解这些类的作用是继续分析的前提ServerCache是抽象类，在全局上为Heritrix3.1.0系统应用提供CrawlHost对象和CrawlServer对象的注册/** * Abstract class for crawl-global regist 阅读全文

摘要： 上文分析了Heritrix3.1.0系统的对请求认证机制的封装，本文接下来分析Heritrix3.1.0系统对cookies的处理的封装Heritrix3.1.0系统提供了CookieStorage接口，用于提供cookies的存储CookieStorage接口很简单，声明了保存cookies对象的Map容器的方法和获取cookies对象的Map容器的方法public interface CookieStorage extends Lifecycle { SortedMap<String,Cookie> getCookiesMap(); void saveCookiesMap(Ma 阅读全文