君子博学而日参省乎己 则知明而行无过矣

摘要： Tika是一个内容抽取的工具集合(a toolkit for text extracting)。它集成了POI,Pdfbox并且为文本抽取工作提供了一个统一的界面。其次，Tika也提供了便利的扩展API，用来丰富其对第三方文件格式的支持。在当前的0.2-SNAPSHOT版本中， Tika提供了对如下文件格式的支持:PDF - 通过PdfboxMS-* - 通过POIHTML - 使用nekohtml将不规范的html整理成为xhtmlOpenOffice 格式 - Tika提供Archive - zip, tar, gzip, bzip等RTF - Tika提供Java class - Cla 阅读全文

摘要： 上部分的代码还可以进一步优化，主要是构建Collection<SolrInputDocument>集合，分批次提交，优化新增索引速度其实分页方式也是分批次提交的，不过这种方式 更优雅参考如下代码importjava.io.IOException;importjava.net.MalformedURLException;importjava.sql.ResultSet;importjava.sql.ResultSetMetaData;importjava.sql.SQLException;importjava.sql.Types;importjava.util.ArrayList;i 阅读全文

摘要： 我写这系列solr数据导入源码分析主要是解决我们在编程方式导入数据库数据的时候，怎么解决大数据集导入索引的内存溢出问题的如果数据表的数据不大，用常规方法不会产生内存溢出的问题，当数据表数据上千万级的时候，可参考solr自带的数据导入方式我刚开始用编程方式添加solr索引的时候，很容易产生内存溢出问题，所以我就想考究solr自带的数据导入是怎么处理大数据集索引添加的；网上一些参考的方法通常是采取类似数据分页的方式，个人感觉比较拙劣，并且在针对不同数据库的时候，采取类似数据分页方式还要考虑不同数据库分页方式的差异（数据库方言），而且容易出现性能等问题。我的处理方式如下DatabaseResourc 阅读全文

摘要： 上文solr dataimport源码主要实现的是数据读取功能下面我们接着看数据连接的实现的源码：privateConnectiongetConnection()throwsException{longcurrTime=System.currentTimeMillis();if(currTime-connLastUsed>CONN_TIME_OUT){synchronized(this){ConnectiontmpConn=factory.call();closeConnection();connLastUsed=System.currentTimeMillis();returnconn 阅读全文

摘要： 数据读取类 JdbcDataSource.javaResultSetIterator是JdbcDataSource的内部类，用于从数据库读取数据privateclassResultSetIterator{ResultSetresultSet;Statementstmt=null;List<String>colNames;Iterator<Map<String,Object>>rSetIterator;publicResultSetIterator(Stringquery){try{Connectionc=getConnection();stmt=c.crea 阅读全文

摘要： 在solr dataimport 数据导入源码分析（五）提到了contextimpl类调用DataImporter对象获取数据源contextimpl.javaprivateDataSourceds;privateDataImporterdataImporter;@OverridepublicDataSourcegetDataSource(){if(ds!=null)returnds;if(entity==null)returnnull;if(entity.dataSrc==null){entity.dataSrc=dataImporter.getDataSourceInstance(enti 阅读全文