随笔分类 -  ELK

13.ELK生产上线流程
摘要：1.日志分类 系统日志 rsysylog logstash syslog插件 访问日志 nginx logstash codec json 错误日志 file logstash file+multiline 运行日志 file logstash codec json 设备日志 syslog logs 阅读全文
posted @ 2018-04-24 10:23 Paco_Pig 阅读(175) 评论(0) 推荐(0)
12.logstash解耦之队列消息02
摘要：通过redis-in.conf和redis-out.conf明白了redis的具体用法， 下面结合ES集群实现把完整版的all.conf，将日志写到node1的redis里面，然后node2，负责从redis里面去读，并且输出到ES node1:192.168.56.11 将日志从目录地址里面读取出 阅读全文
posted @ 2018-04-24 10:22 Paco_Pig 阅读(178) 评论(0) 推荐(0)
11.logstash解耦之队列消息01
摘要：所谓解耦，就是logstash只负责收集日志，然后将收集的日志存到redis或者消息队列里，然后再在kibana展示。 官网的logstash里面inpu件和output有对应的redis插件介绍 https://www.elastic.co/guide/en/logstash/current/pl 阅读全文
posted @ 2018-04-24 10:20 Paco_Pig
10.logstash收集slowlog-grok
摘要：grok这个插件包含了几百个正则的匹配 vim grok.conf input { file { path => "/var/log/messages" type => "system" start_position => "beginning" } } filter { grok { match 阅读全文
posted @ 2018-04-24 10:09 Paco_Pig
9.logstash收集tcp日志
摘要：vim tcp.conf input { tcp { host => "192.168.56.11" port => "6666" } } output { stdout { codec => "rubydebug" } } /opt/logstash/bin/logstash -f tcp.con 阅读全文
posted @ 2018-04-24 10:06 Paco_Pig 阅读(384) 评论(0) 推荐(0)
8.logstash收集syslog日志
摘要：vim syslog.conf input { syslog { type => "system-syslog" host => "192.168.56.11" port => "514" } } output { stdout { codec => "rubydebug" } } /opt/log 阅读全文
posted @ 2018-04-24 10:03 Paco_Pig 阅读(2868) 评论(0) 推荐(0)
7.logstash收集nginx访问日志-json
摘要：1.修改nginx日志格式 vim /datas/soft/nginx/conf/nginx.conf 将默认日志这段给注释掉 #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $b 阅读全文
posted @ 2018-04-24 09:59 Paco_Pig
6.kibana介绍
摘要：1. 安装kibana https://www.elastic.co/downloads/kibana 下载tar包，解压，移动到/usr/local/目录 2. 解压之后不用编译，直接去到解压目录下 vim /usr/local/kibana/config/kibana.yml server.po 阅读全文
posted @ 2018-04-24 09:57 Paco_Pig
5.logstash收集java日志
摘要：vim /root/all.conf input { file { path => "/var/log/messages" type => "system" start_position => "beginning" } file { path => "/var/log/elasticsearch/ 阅读全文
posted @ 2018-04-24 09:55 Paco_Pig 阅读(305) 评论(0) 推荐(0)
4.logstash收集日志
摘要：编辑配置文件配置logstash vim /etc/logstash/conf.d/01-logstash.conf input { stdin{} } output { elasticsearch{ hosts => ["192.168.56.11:9200"] } stdout { code = 阅读全文
posted @ 2018-04-24 09:53 Paco_Pig
3.Logstash快速入门
摘要：安装: 略 前台展示: /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch{ hosts => ["192.168.56.11:9200"] } }' 从键盘标准输入，写到ES里 去到elasticWEB端会 阅读全文
posted @ 2018-04-24 09:18 Paco_Pig
2.ES集群
摘要：集群: 安装方法一样，配置文件不同 vim /etc/eleasticsearch/elasticsearch.yml cluster.name:kye 多个节点名称必须一致 node.name:es_node2 两个节点不一样 path.data:/data/es_data path.logs:/ 阅读全文
posted @ 2018-04-24 09:15 Paco_Pig
1.ES简介,安装
摘要：ElasticSearch:用于存储和搜索日志,分析日志 LogStash:用于收集日志(把所有日志收集到一个地方) Kibana:用于日志的web展示 ElasticSearch简介: ElasticSearch集群: 环境:centos 7 方式: 1.安装 https://www.elasti 阅读全文
posted @ 2018-04-24 09:12 Paco_Pig