EKL的部署安装收集系统日志-7.1.1

简介：

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去

Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志

FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具

此实验将ELK安装在两台虚拟机上

ELK版本：6.6.0

环境准备

虚拟机：centos 7 两台

A：192.168.5.108

B：192.168.5.109

同步时间（两台都做）：

yum -y install ntpdate

ntpdate 0.cn.pool.ntp.org

若上面的时间服务器不可用，可选择以下服务器同步时间

time.nist.gov

time.nuri.net

0.asia.pool.ntp.org

1.asia.pool.ntp.org

2.asia.pool.ntp.org

3.asia.pool.ntp.org

或用此命令同步时间

ntpdate –u 210.72.145.44

ntpdate –u Ntp.api.bz

关闭防火墙与selinux

systemctl stop firewalld

setenforce 0

下载安装包

下载地址：

JDK:https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

ELK: https://www.elastic.co/cn/downloads/past-releases

上传Elasticsearch、Kibana及JDK安装包至A

上传Logstash及JDK安装包至B

安装JDK环境（两台都做）

下载地址：

JDK:https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

ELK: https://www.elastic.co/cn/downloads/past-releases

上传Elasticsearch、Kibana及JDK安装包至A

上传Logstash及JDK安装包至B

安装JDK环境（两台都做）

最后用java -version验证一下。

开始安装

elasticsearch配置和启动：

安装elasticsearch

rpm -ivh elasticsearch-7.1.1-x86_64.rpm

安装完之后我们执行一下

ulimit -n 655360

ulimit -n 655360 将每个进程可以打开的文件数目加大到655360

然后我们配置一下 /etc/sysctl.conf文件

vim /etc/sysctl.conf

然后我们执行一下

sysctl –p

-p 从指定的文件加载系统参数，如不指定即从/etc/sysctl.conf中加载

1, sysctl命令的作用
     在运行时配置内核参数
2,用法举例:
      -w 用此选项来改变一个sysctl设置
     例:sysctl -w net.ipv4.ip_forward=1
     -p   载入sysctl配置文件
           如-p后未指定路径，则载入 /etc/sysctl.conf
     例: sysctl -p /etc/sysctl.conf

修改配置文件，配置监听地址：

vim /etc/elasticsearch/elasticsearch.yml

首先把23行注释去掉

然后我们把第55行注释去掉并且修改成服务器IP，然后第61行写在那里都行，然后是官方对于最新版本的一个要求，不知道什么意思。

action.auto_create_index: .monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*

然后在第73行必须写成这个格式，最后把90.91行加到最后，保存退出

然后启动elasticsearch：

systemctl start elasticsearch

稍等一分钟，启动成功后可以查看到９２００端口处于监听状态用ss -ntl命令查看。

然后我们试一下http://192.168.10.10:9200/

logstash配置收集系统日志：（客户端）

rpm -ivh logstash-7.1.1.rpm

logstash是用来收集日志，并对日志做过滤处理的，我们下面要分析的是系统日志，所以要编写一个收集日志的配置文件

vim /etc/logstash/conf.d/system.conf

input {
file {
path => "/var/log/messages"
type => "systemlog"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.10.10:9200"]
index => "logstash-systemlog-%{+YYYY.MM.dd}"
}
}
~