ELK学习总结【第一篇】：ELK概述

ELK简介

　　ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

　　ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：

处理方式灵活：Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；
配置简易上手：Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
检索性能高效：虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
集群线性扩展：不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
前端操作炫丽：Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

当然，ELK Stack 也并不是实时数据分析界的灵丹妙药。在不恰当的场景，反而会事倍功半。

官网地址：https://www.elastic.co

ELK工作原理

　　在需要收集日志的所有服务上部署 logstash ，作为 logstash agent （ logstash shipper ）用于监控并过滤收集日志，将过滤后的内容发送到 logstash indexer ，logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ，可以用 ElasticSearch 进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。

服务器端部署及配置

安装JDK

[root@elk ~]# java -version
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b14)
Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

安装logstash

[root@elk ~]# rpm -ivh logstash-2.1.0-1.noarch.rpm

安装Redis

[root@elk ~]# yum install redis -y
[root@elk ~]# /etc/init.d/redis start
[root@elk ~]# chkconfig redis on

安装elasticsearch

[root@elk ~]# rpm -ivh elasticsearch-2.0.0.rpm 
warning: elasticsearch-2.0.0.rpm: Header V4 RSA/SHA1 Signature, key ID d88e42b4: NOKEY
Preparing...                ########################################### [100%]
Creating elasticsearch group... OK
Creating elasticsearch user... OK
   1:elasticsearch          ########################################### [100%]
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using chkconfig
 sudo chkconfig --add elasticsearch
### You can start elasticsearch service by executing
 sudo service elasticsearch start
[root@elk ~]# chkconfig --add elasticsearch
[root@elk ~]# /etc/init.d/elasticsearch start
正在启动 elasticsearch：                                   [确定]
[root@elk ~]# chkconfig elasticsearch on
[root@elk ~]# netstat -tunlp|grep :9
tcp        0      0 ::1:9200                    :::*                        LISTEN      10966/java          
tcp        0      0 ::ffff:127.0.0.1:9200       :::*                        LISTEN      10966/java          
tcp        0      0 ::1:9300                    :::*                        LISTEN      10966/java          
tcp        0      0 ::ffff:127.0.0.1:9300       :::*                        LISTEN      10966/java

安装kibana

[root@elk~]# yum install ruby rubygems -y
[root@elk~]# gem install bundler
[root@elk ~]# tar -zxf kibana-4.2.1-linux-x64.tar.gz -C /application/
[root@elk kibana-4.2.1-linux-x64]# useradd kibana
[root@elk kibana-4.2.1-linux-x64]# chown -R kibana:kibana /application/kibana-4.2.1-linux-x64/
[root@elk kibana-4.2.1-linux-x64]# /application/kibana-4.2.1-linux-x64/bin/kibana serve &

客户端部署及配置