随笔分类 -  ELKstash

Logstash Kafka elasticsearch kibana nginx zabbix
关于　Kafka offset
摘要：查询topic的offset的范围 用下面命令可以查询到topic:Mytopic broker:SparkMaster:9092的offset的最小值： 输出 查询offset的最大值： 输出 从上面的输出可以看出topic:Mytopic只有一个partition:0 offset范围为:[12 阅读全文
posted @ 2017-11-10 14:13 Eamon13 阅读(304) 评论(1) 推荐(0)
elasticsearch 集群基本概念
摘要：cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的 阅读全文
posted @ 2016-06-04 12:01 Eamon13 阅读(457) 评论(1) 推荐(0)
Elkstack2.0部署
摘要：部署步骤如下：1.1 资源拷贝 1 jdk1.8 2 kafka 3 kafka-manager1.2 jvm 配置 vim /etc/profile.d/java.sh JAVA_HOME=/usr/local/jdk1.8.0_60 CLASS_PATH=$JAVA_HOME/lib:$J... 阅读全文
posted @ 2015-11-10 14:47 Eamon13 阅读(264) 评论(1) 推荐(0)
elasticsearch 管理工具
摘要：------------------sense-------------------google chrome 浏览器插件，数据交互使用-------------------------head插件----------------------------by H51.elasticsearch/bi... 阅读全文
posted @ 2015-10-29 15:18 Eamon13 阅读(1958) 评论(0) 推荐(0)
elasticsearch 配置说明
摘要：elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本 配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面 主要讲解... 阅读全文
posted @ 2015-10-27 09:48 Eamon13 阅读(896) 评论(1) 推荐(0)
elk集成安装配置
摘要：三台虚拟机 193，194，195 本机 78流程 pythonserver -> nginx -> logstash_shipper->kafka->logstash_index->es->kibanapythonserver 通过tcp，udp 发送log到 kakfanginx 产生的log有... 阅读全文
posted @ 2015-10-21 11:42 Eamon13 阅读(767) 评论(2) 推荐(0)
logstash安装配置
摘要：vim /usr/local/logstash/etc/hello_search.conf输入下面：input { stdin { type => "human" }}output { stdout { codec => rubydebug } elasticsearch { ... 阅读全文
posted @ 2015-10-21 11:28 Eamon13 阅读(1115) 评论(0) 推荐(0)
Kafka集群搭建
摘要：kafka 集群--3个broker 3个zookeeper创建实战准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz3. 分别解压放入到想... 阅读全文
posted @ 2015-10-21 11:22 Eamon13 阅读(420) 评论(1) 推荐(0)