ElasticStack之Logstash安装

服务器环境

	操作系统	Host:port	node
1	CentOS 7.2.1511	11.1.11.127:9200	node1
2	CentOS 7.2.1511	11.1.11.128:9200	node2
3	CentOS 7.2.1511	11.1.11.129:9200	node3

 

Logstash简介

Logstash 是 Elastic Stack 的中央数据流引擎，用于收集、丰富和统一所有数据，而不管格式或模式。当与Elasticsearch，Kibana，及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。

 

Logstash优势

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到Elasticsearch。

• 输入：采集各种样式、大小和来源的数据
• 过滤器：实时解析和转换数据
• 输出：选择您的存储库，导出您的数据
• 即插即用：使用 Elastic Stack 更快获得洞察
• 可扩展：以您自己的方式创建和配置管道
• 可靠性与安全性：构建可信的交付管道
• 监控：全方位监视您的部署
• 管理和治理：使用单个 UI 集中式管理部署

Logstash详细介绍可以参看官网：https://www.elastic.co/cn/products/logstash

 

Logstash安装

1.下载logstash

[root@localhost~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.1.zip

 

 2.解压logstash到/usr/local/

[root@localhost~]# unzip logstash-6.0.1.zip

 

Logstash配置文件

3.修改logstash.yml

[root@localhost~]# vim /usr/local/logstash-6.0.1/config/logstash.yml

#需配置属性如下

node.name: 11.1.11.127:9200  #设置节点名称，一般写主机名

path.data:/usr/local/logstash-6.0.1/plugin-data   #创建logstash 和插件使用的持久化目录

config.reload.automatic: true  #开启配置文件自动加载

config.reload.interval: 10    #定义配置文件重载时间周期

http.host: "11.1.11.127"    #定义访问主机名，一般为域名或IP

 

4.配置logstash input

[root@localhost~]# vim /usr/local/logstash-6.0.1/config/estest.conf

input {

file {

path => [ '/var/log/httpd/access_log']

start_position => "beginning"

}

}

filter {

grok {

match => {

"message"=> "%{COMBINEDAPACHELOG}"

}

remove_field => "message"

}

}

output {

elasticsearch {

hosts => [ "http://11.1.11.127:9200", "http://11.1.11.128:9200", "http://11.1.11.129:9200"]

index => "logstash-%{+YYYY.MM.dd}"

action => "index"

document_type => "apache_logs"

}

}

 

4.新建插件持久化目录

[root@localhost~]# mkdir -p /usr/local/logstash-6.0.1/plugin-data

 

启动Logstash

[root@localhost~]# /usr/local/logstash-6.0.1/bin/logstash -f /usr/local/logstash-6.0.1/config/estest.conf 

 

Ps：Logstash安装的服务器和elasticsearch的node1节点服务器为同一服务器。在生产环境中建议为Logstash申请独立的服务器，对es集群进行监控和数据收集整理。