Linux下ElasticSearch及IK分词插件安装

ElasticSearch及IK分词插件相关安装

一. 简介

• ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
• Elasticsearch-head是一个界面化的集群操作和管理工具，他是通过html5编写，可以对集群进行傻瓜式操作。
• IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词 歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

二. 下载软件包

• ElasticSearch下载

  官网：https://download.elasticsearch.org/

三. 安装部署

• 创建worker用户，下载安装包到/home/worker/soft下

  [worker@222 soft]$ ll
  total 206224
  -rw-r----- 1 worker worker 29007342 Feb 29 16:52 elasticsearch-2.1.1.tar.gz
  -rw-r----- 1 worker worker 899251 Mar 18 15:36 elasticsearch-head-master.zip
  -rw-r----- 1 worker worker 181260798 Dec 23 05:31 jdk-8u65-linux-x64.gz

• 安装JDK

  创建目录，解压移动JDK到新建目录下

  cd /home/worker/soft/
  mkdir -p /home/worker/usr/local/
  tar -xf jdk-8u65-linux-x64.gz
  mv jdk1.8.0_65 /home/worker/usr/local/

  添加环境变量

  vim ~/.bash_profile
  export PATH
  export JAVA_HOME=/home/worker/usr/local/jdk1.8.0_65 
  export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 
  export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

  修改最大文件打开数

  sudo vim /etc/security/limits.d/90-nproc.conf
  worker soft nproc 65535

• 安装Elasticsearch

  解压文件，移动到指定目录下

  [worker@222 soft]$ tar -xf elasticsearch-2.1.1.tar.gz
  [worker@222 soft]$ mv elasticsearch-2.1.1 /home/worker/opt/
  [worker@222 soft]$ ln -s /home/worker/opt/elasticsearch-2.1.1/ /home/worker/opt/elasticsearch
  [worker@222 soft]$ ll /home/worker/opt/elasticsearch
  lrwxrwxrwx 1 worker worker 37 Mar 19 02:42 /home/worker/opt/elasticsearch -> /home/worker/opt/elasticsearch-2.1.1/

  修改集群配置文件

  /home/worker/opt/elasticsearch/config
  vim elasticsearch.yml
  cluster.name: my-application
  node.name: node-1
  discovery.zen.ping.unicast.hosts: ["host1", "host2"]
  discovery.zen.minimum_master_nodes: 3
  备注：每个节点的node.name的名字不同

  配置开机启动

  echo '/home/worker/opt/elasticsearch/bin/elasticsearch -d' >> /e tc/rc.local
  echo 'export PATH=/home/worker/opt/elasticsearch/bin/elasticsearch:$PATH' >> ~/.bash_profile

  配置启动关闭脚本

  !/bin/bash

  start(){
  /home/worker/opt/elasticsearch/bin/elasticsearch -d
  }

  stop(){
  ps -ef|grep elasticsearch|grep -v grep |awk '{print $2}'|xargs kill -9
  }

  restart(){
  /home/worker/opt/elasticsearch/bin/elasticsearch -d && ps -ef|grep elasticsearch|grep -v grep |awk '{print $2}'|xargs kill -9
  }

  case $1 in
  start)
  echo 'start elasticsearch.'
  ;;
  stop)
  echo 'stop elasticsearch.'
  ;;
  restart)
  echo 'restart elasticsearch.'
  ;;
  *)
  echo $"Usage: $0 {start|stop|restart}"
  exit 1
  esac

  优化配置

  ES_HEAP_SIZE=2048m
  MAX_OPEN_FILES=65535

• 安装ik分词插件

  创建ik目录，将zip包解压到目录

  mkdir /home/worker/soft/ik
  cd /home/worker/soft/ik
  unzip ../elasticsearch-analysis-ik-1.7.0.zip

  拷贝ik目录到elasticsearch配置文件下

  cp -r config/ik /home/worker/opt/elasticsearch/config/

  重启elasticsearch服务

  /home/worker/opt/elasticsearch/bin/elasticsearch -d && ps -ef|grep elasticsearch|grep -v grep |awk '{print $2}'|xargs kill -9

• 安装Elasticsearch-head

  解压zip包到plugins目录下

  cd /home/worker/opt/elasticsearch/plugins
  unzip /home/worker/soft/elasticsearch-head-master.zip

  移动elasticsearch-head-master到head目录下

  mv elasticsearch-head-master head

  重启elasticsearch服务

  /home/worker/opt/elasticsearch/bin/elasticsearch -d && ps -ef|grep elasticsearch|grep -v grep |awk '{print $2}'|xargs kill -9

  测试

  http://localhost:9200/_plugin/head/

四. 测试ik分词效果

• 创建一个索引，名为index

  curl -XPUT http://localhost:9200/index

• 为索引index创建mapping

   	{
   	"fulltext": {
            	"_all": {
           	"analyzer": "ik"
       		},
       "properties": {
           "content": {
               "type" : "string",
               "boost" : 8.0,
               "term_vector" : "with_positions_offsets",
               "analyzer" : "ik",
               "include_in_all" : true
           		}
       		}
   		}
   	}' 

• 测试
  curl 'http://localhost:9200/index/_analyze?analyzer=ik&pretty=true' -d ' { "text":"世界如此之大" }'

  显示效果

  {
  "tokens" : [ {
  "token" : "text",
  "start_offset" : 4,
  "end_offset" : 8,
  "type" : "ENGLISH",
  "position" : 1
  }, {
  "token" : "世界",
  "start_offset" : 11,
  "end_offset" : 13,
  "type" : "CN_WORD",
  "position" : 2
  }, {
  "token" : "如此",
  "start_offset" : 13,
  "end_offset" : 15,
  "type" : "CN_WORD",
  "position" : 3
  }, {
  "token" : "之大",
  "start_offset" : 15,
  "end_offset" : 17,
  "type" : "CN_WORD",
  "position" : 4
  } ]
  }