ELK日志分析

 1. 简介

　　ELK是由Elasticsearch、Logstash 、Kibana 三大组件的简称。

　　Elasticsearch 引擎，负责处理接收处理数据。

　　Logstash 相当于客户端，负责数据收集，并将数据发送到Elasticsearch 引擎。

　　Kibana 可视化工具，负责将数据可视化到web页面。

 

2. 原理图

　　

 

3. 环境

　　操作系统：CentOS7.6   配置阿里云yum源，内核：3.10.0-957.1.3.el7.x86_64

　　软件版本：Java-1.8、elasticsearch-7.0.0-linux-x86_64.tar.gz、kibana-7.0.0-linux-x86_64.tar.gz、logstash-7.0.0.tar.gz

　　安装目录： /application

 

4. 初始化

4.1配置yum源

yum install wget -y
cd /etc/yum.repos.d/
mkdir yum.bak
mv CentOS-* yum.bak

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

4.2 安装Java8

yum install java  -y
java -version 
openjdk version "1.8.0_201"
OpenJDK Runtime Environment (build 1.8.0_201-b09)
OpenJDK 64-Bit Server VM (build 25.201-b09, mixed mode)　　

4.3创建ELK安装目录

mkdir /application/

　　

5. elasticsearch

5.1 获取软件包。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz

5.2 安装配置。

tar zxf elasticsearch-7.0.0-linux-x86_64.tar.gz -C /application/
cd /application
useradd elasticsearch
chown -R elasticsearch elasticsearch-7.0.0/
ln -s elasticsearch-7.0.0 elasticsearch

5.3 启动，elasticsearch启动是必须使用非root用户启动。

su elasticsearch
/application/elasticsearch-7.0.0/bin/elasticsearch

 

6. Logstash 

6.1 获取安装包

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz

6.2 安装

tar zxf logstash-7.0.0.tar.gz -C /application/
cd /application/
ln -s logstash-7.0.0 logstash

6.3 配置

cat /application/logstash/config/logstash.conf
          
input {
     file {
        type => "log"
        path => "/logs/*.log"
        start_position => "beginning"
    }
}

output {
  stdout {
   codec => rubydebug { }
  }

  elasticsearch {
    hosts => "127.0.0.1"
    index => "log-%{+YYYY.MM.dd}"
  }
} 

6.4 启动

cd /application/logstash/
./bin/logstash -f ./config/logstash.conf 

　　

7. kibana

7.1 获取安装包

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-linux-x86_64.tar.gz

7.2 安装

tar zxf kibana-7.0.0-linux-x86_64.tar.gz -C /application/
cd /application/
ln -s kibana-7.0.0-linux-x86_64 kibana

7.3 配置

cd /application/kibana
egrep -v "^$|#" config/kibana.yml     
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

7.4 启动

 ./bin/kibana

 

8.控制台

使用浏览器通过服务器带IP地址加6501端口，访问控制台。