solr3.6数据导入DataImport实现

上文中介绍了定时器实现实时索引数据的解决方案，本文对其进行补充，介绍数据导入的配置

 

1 配置RequestHandler

 <!-- DataImportHandler -->

 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  

     <lst name="defaults">  

       <str name="config">db/db-data-config.xml</str>  

     </lst>  

  </requestHandler>

2 配置数据源和数据实体

包括全部导入和增量导入

<dataConfig>      

<dataSource driver="net.sourceforge.jtds.jdbc.Driver" url="jdbc:jtds:sqlserver://IP;instance=SQLSRV2005;DatabaseName=CloudPlat" user="sa" password="sa"  batchSize="100"/>
<document>
        <entity name="article" pk="DocAutoId" query="select * from CP_InfoListPub order by DocAutoId"         
        deltaImportQuery="select * from CP_InfoListPubClone where DocAutoId='${dataimporter.delta.DocAutoId}'"
        deltaQuery="select DocAutoId from CP_InfoListPubClone where Doc_GatherDate &gt; '${dataimporter.last_index_time}'"
        deletedPkQuery="select DocAutoId from CP_InfoListPubClone where DocAutoId=0"
        transformer="ClobTransformer,HTMLStripTransformer,DateFormatTransformer" >
            <field column="DocAutoId" name="id" />        
            <field column="Doc_Title" name="title" /> 
            <field column="Doc_RegionName" name="region" />
            <field column="Doc_TradeName" name="trade" />
            <field column="Doc_Content" name="content" clob="true" stripHTML="true"/>            
            <field column="Doc_PubDate" name="update"  dateTimeFormat="yyyy-MM-dd"/>
            <field column="Doc_Url" name="link" />
        </entity>
    </document>

</dataConfig> 

3 引入相关的文件，apache-solr-dataimporthandler-1.4.0.jar，apache-solr-dataimporthandler-extras-1.4.0.jar，mysql-connector-java-5.1.10.jar等

4 启动tomcat，访问http://localhost:8080/solr/dataimport?command=full-import 将数据全部导入solr服务器进行索引

访问http://localhost:8080/solr/dataimport?command=status可以查看运行状态

当修改data-config.xml 文件配置时运行http://localhost:8080/solr/dataimport?command=reload-config可以进行重新加载配置文件

如果想终止运行http://localhost:8080/solr/dataimport?command=abort