ELK - MAC环境搭建

ELK - MAC环境搭建

本文旨在记录elasticsearch、logstash、kibana在mac下的安装与启动。

写在前面

ELK的官方文档对与它们的使用方法已经讲的非常清楚了,这里只对相关的安装步骤以及可能碰到的一些坑进行一些记录。

先决条件

  • java8
  • mac软件管理工具brew

brew相关命令

# 安装软件
brew install your-software
# 查看软件安装信息
brew info your-software
# 管理服务,没怎么用它,ELK都有自己的启动脚本在安装目录的bin/下面,且基本上都会携带参数启动
brew services start/stop your-service

elasticsearch

mac安装elasticsearch

# mac安装elasticsearch
brew install elasticsearch

elasticsearch的相关安装位置

安装目录:/usr/local/Cellar/elasticsearch/{elasticsearch-version}/

日志目录:/usr/local/var/log/elasticsearch/

插件目录:/usr/local/var/elasticsearch/plugins/

配置目录:/usr/local/etc/elasticsearch/

安装完成elasticsearch之后,可以通过brew services start elasticsearch启动它,然后通过curl请求REST API对它进行调用

首次启动,默认的端口号是9200,用户名是elastic,密码我也不知道(资料上查到的都是6.0以前的版本,密码是changeme,6.0以后不清楚),通过调用_xpack接口修改默认密码:

# 如果不是第一次修改,则需要输入当前密码才能进行密码修改
curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/elastic/_password' -H "Content-Type: application/json" -d '{"password":"123456"}'

kibana

# mac安装kibana
brew install kibana

kibana的相关安装位置

安装目录:/usr/local/Cellar/kibana/{kibana-version}/

配置目录:/usr/local/etc/kibana/

启动kibana之前,需要先修改一下配置文件/usr/local/etc/kibana/kibana.yml,取消elasticsearch.name和elasticsearch.password的注释,并将值改为上面修改过的用户名密码username: elastic, password: 123456,请参考下面的kibana.yml片段

# /usr/local/Cellar/kibana/6.2.4/kibana.yml

server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

这里提供两个脚本用来启动/停止kibana:

#! /bin/bash
#  启动脚本: file path: /usr/local/Cellar/kibana/6.2.4/bin/kibana-start.sh

nohup ./bin/kibana -l /usr/local/var/log/kibana.log > /dev/null & echo $! > pid.txt
#! /bin/bash
#  停止脚本:file path: /usr/local/Cellar/kibana/6.2.4/bin/kibana-stop.sh

kill -9 `cat bin/pid.txt`

因为默认的启动脚本bin/kibana并没有提供后台运行,且如果不指定-l参数,默认是没有日志文件的,这里我将日志文件定位到了/usr/local/var/log/kibana.log文件中。

首次启动,默认端口号是5601,打开浏览器访问http://localhost:5601访问kibana管理页面,会弹框要求输入用户名密码,输入elastic和123456即可。

注:这里的kibana.yml中配置的用户名密码是kibana访问elasticsearch需要用到的,而web页面手动输入的用户名密码是我们登录kibana管理页面的密码,它们为什么能共用一个密码,不太清楚

坑:如果没有配置kibana.yml,虽然可以登录成功kibana,但是在kibana页面中什么都访问不了,它会提示你elasticsearch的认证失败!

logstash

# mac安装logstash
brew install logstash

logstash的相关安装位置

安装目录:/usr/local/Cellar/logstash/{logstash-version}/

启动相关:参考备注

filebeat

# mac安装filebeat
brew install filebeat

filebeat的相关安装位置

安装目录:/usr/local/Cellar/filebeat/{filebeat-version}/

配置目录:/usr/local/etc/filebeat/

缓存目录:/usr/local/var/lib/filebeat/

启动相关:参考备注

备注

因为logstash的启动关乎很多概念如管道、输入、输出、过滤器等,我这里是参考的官方文档,写的非常清晰:https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html
讲了logstash结合filebeat将Apache日志文件解析成结构化数据存储到elasticsearch

posted @ 2018-06-21 18:53  大地的谎言  阅读(...)  评论(...编辑  收藏