大数据入门第二十五天——elasticsearch入门
一、概述
推荐路神的ES权威指南翻译：https://es.xiaoleilu.com/010_Intro/00_README.html
官网：https://www.elastic.co/cn/products/elasticsearch
精品博文：https://blog.csdn.net/laoyang360/article/details/52244917
1.es是什么
官网的中文介绍：
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
权威指南的入门介绍：
Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。
它用于全文搜索、结构化搜索、分析以及将这三者混合使用
2.特征
查询、分析、速度、可拓展性、弹性、灵活
// 更多详细特征介绍，参考官网
二、安装
安装es需要先安装JDK，这里我们安装es5.6，提请安装一下JDK8
1.下载
https://www.elastic.co/cn/downloads/elasticsearch
选择一个合适的版本，下载即可
2.解压
#es启动时需要使用非root用户！如果非要使用，另行配置，这里暂不展开
[hadoop@mini1 ~]$ tar -zxvf elasticsearch-5.6.9.tar.gz -C /es
// 相应的目录需要有权限
3.修改配置
[hadoop@mini1 config]$ vim elasticsearch.yml
主要需要修改的项如下：
#集群名称，通过组播的方式通信，通过名称判断属于哪个集群
cluster.name: es
#节点名称，要唯一
node.name: es-1
#数据存放位置
path.data: /es/data
#日志存放位置
path.logs: /es/log
#es绑定的ip地址
network.host: 192.168.137.128
#初始化时可进行选举的节点
discovery.zen.ping.unicast.hosts: ["mini1", "mini2", "mini3"]
4.拷贝到其他节点
[hadoop@mini1 es]$ scp -r elasticsearch-5.6.9/ mini2:/es/
[hadoop@mini1 es]$ scp -r elasticsearch-5.6.9/ mini3:/es/
5.修改其他节点配置
需要修改的有node.name和network.host
6.启动
bin/elasticsearch -h查看帮助文档）
bin/elasticsearch -d
启动时会报：Cannot allocate memory，原因是内存不足，ES默认JVM内存为2G
解决方案参考自：https://blog.csdn.net/qq942477618/article/details/53414983
其他也会有一些启动问题，根据日志与博文排查即可：https://blog.csdn.net/feinifi/article/details/73633235?utm_source=itdadao&utm_medium=referral
7.验证
根据以上两篇博文排查完问题后就可以启动了，启动后访问默认的9200端口即可：mini1:9200
{
"name" : "es-1",
"cluster_name" : "es",
"cluster_uuid" : "qO0_NjifRiOnPUnWA-9W-Q",
"version" : {
"number" : "5.6.9",
"build_hash" : "877a590",
"build_date" : "2018-04-12T16:25:14.838Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
8.停止
可以通过jps查看到其PID，也可以直接使用kill一步到位：
kill `ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'`
当然，通过Jps也是可以轻松找出es的pid的：
jps | grep Elasticsearch | awk '{print $1}'
那停止命令也可以长这样：
kill -9 `jps | grep Elasticsearch | awk '{print $1}'`
9.一键启动脚本
如果要编写一个一键启动脚本，那一个简单的示例如下：
#!/bin/bash
SERVERS="192.168.137.128 192.168.137.138 192.168.137.148"
echo "start es..."
for SERVER in $SERVERS
do
ssh $SERVER "source /etc/profile&&/es/elasticsearch-5.6.9/bin/elasticsearch -d"
done
chmod +x以后就可以启动了
10.安装head管理插件
在线安装：
bin/plugin install mobz/elasticsearch-head
离线安装需要先去github下载
./plugin install file:///home/bigdata/elasticsearch-head-master.zip
这里通过查看es-head的github，发现已经不支持5.x了：
独立server安装方式，参考：https://blog.csdn.net/xgjianstart/article/details/78780176
三、基本概念
和之前的lucene是比较类似的，主要概念如下：
node/cluster：Node是集群的节点，cluster表示集群；
Index：数据管理的顶层单位叫index（索引），概念上类似数据库；
Document：数据库中的记录就叫Document，一条条document组成了一个index；
Type：Document的逻辑虚拟分组，概念上类似表，主要用来过滤Document；
完整参考：http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
四、基本操作
es提供RESTful形式的操作，基本形式如下：
http://localhost:9200/<index>/<type>/[<id>]
// 其中[]为可选，<>为必选
1.新建与删除index
使用linux的curl来完成，新增index：
[hadoop@mini1 elasticsearch-5.6.9]$ curl -X PUT '192.168.137.128:9200/weather'
删除同样简单，换成DELETE请求即可
[hadoop@mini1 elasticsearch-5.6.9]$ curl -X DELETE '192.168.137.128:9200/weather'
2.安装IK中文分词器
https://github.com/medcl/elasticsearch-analysis-ik
使用在线安装即可（安装博文参考：http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html）
###更多操作，待更新
