solr系列--索引库存储在hdfs中

软件准备：
1.Tomcat
2.solr-5.2.1.tgz
3.hadoop-2.7.2


运行环境
centos7
看以前文档hadoop安装好


在hadoop-2.7.2/etc/hadoop下的hdfs-site.xml增加了以下内容
<property>  
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
    </property>  
    <property>  
        <name>dfs.permissions.enabled</name>  
        <value>false</value>  
    </property>  
 WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE，引入Rest接口


REST http的格式为： 
http://<HOST>:<HTTP_PORT>/webhdfs/v1/<PATH>? [user.name=<USER>&]op=.. 


安装solr（看以前文档）


修改solrhome文件夹中tika/conf 下的solrconfig.xml
替换原有directoryFactory配置为如下
<directoryFactory name="DirectoryFactory" class="solr.HdfsDirectoryFactory">  
       <str name="solr.hdfs.home">hdfs://172.xx.xx.xx:9000/solr/tika</str>
       <bool name="solr.hdfs.blockcache.enabled">true</bool>  
       <int name="solr.hdfs.blockcache.slab.count">1</int>  
       <bool name="solr.hdfs.blockcache.direct.memory.allocation">true</bool>  
       <int name="solr.hdfs.blockcache.blocksperbank">16384</int>  
       <bool name="solr.hdfs.blockcache.read.enabled">true</bool>  
       <bool name="solr.hdfs.blockcache.write.enabled">true</bool>  
       <bool name="solr.hdfs.nrtcachingdirectory.enable">true</bool>  
       <int name="solr.hdfs.nrtcachingdirectory.maxmergesizemb">16</int>  
       <int name="solr.hdfs.nrtcachingdirectory.maxcachedmb">192</int>  
 </directoryFactory>  
注：solr.hdfs.home 为你所安装的Hadoop的HDFS的访问路劲


替换原有lockType为如下：
<lockType>${solr.lock.type:hdfs}</lockType>  
替换dataDir
<dataDir>${solr.data.dir:hdfs://172.xx.xx.xxx:9000/solr/tika/data}</dataDir>


在/apache-tomcat7-solr/webapps/solr/WEB-INF/lib替换jar包：
rm hadoop-*.jar  
rm protobuf-java-*.jar  
rm -rf htrace-core-3.0.4.jar      


在hadoop中share文件夹下分别得到
commons-collections-3.2.2.jar,hadoop-annotations-2.7.2.jar,hadoop-auth-2.7.2.jar,
hadoop-common-2.7.2.jar,hadoop-hdfs-2.7.2.jar,htrace-core-3.1.0-incubating.jar,
protobuf-java-2.5.0.jar
复制到/apache-tomcat7-solr/webapps/solr/WEB-INF/lib中
启动tomcat，即可访问solr
http://172.xxx.xx.xxx:28080/solr/