大数据组件监控 - 随笔分类 - 枫子_dan

Spark指标项监控

摘要：监控配置 spark的监控主要分为Master、Worker、driver、executor监控。Master和Worker的监控在spark集群运行时即可监控，Driver和Excutor的监控需要针对某一个app来进行监控。如果都要监控，需要根据以下步骤来配置 1. 修改$SPARK_HOME 阅读全文

posted @ 2018-11-28 18:22 枫子_dan 阅读(4812) 评论(2) 推荐(0)

kafka监控指标项

摘要：监控配置 kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句：在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker 阅读全文

posted @ 2018-11-28 18:21 枫子_dan 阅读(11110) 评论(0) 推荐(0)

jmxtrans + OpenTSDB + granafa 监控套件使用手册

摘要：需求说明编写背景此手册的基础在于对 "《jmxtrans + influxdb + granafa 监控套件使用手册》" 的熟悉和使用。本手册仅介绍以下几项： OpenTSDB 的配置安装对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看阅读全文

posted @ 2018-11-28 18:20 枫子_dan 阅读(733) 评论(0) 推荐(0)

jmxtrans + influxdb + granafa 监控套件使用手册

摘要：需求说明随着大数据组件的日益完善，需要随时随地保持各个组件的日常运行，对各个组件的监控势在必行。为了减少运维部门的负担，通过筛选，我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控。 Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些阅读全文

posted @ 2018-11-28 18:10 枫子_dan 阅读(2192) 评论(0) 推荐(2)

Flume监控指标项

posted @ 2018-11-28 18:09 枫子_dan 阅读(4038) 评论(0) 推荐(0)

Hadoop监控指标项

摘要：配置修改$HADOOP_HOME/etc/hadoop/hadoop env.sh web页面查看 | IP | 访问地址 | | | | | 192.168.20.10 | http://dev01:50070/jmx | | 192.168.20.11 | http://dev02:50075 阅读全文

posted @ 2018-11-28 18:09 枫子_dan 阅读(5598) 评论(0) 推荐(0)

Hbase监控指标项

摘要：名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制指标项来源 |主机名|url| | | | |192.168.20.10|http://192.168.20.10:600 阅读全文

posted @ 2018-11-28 18:07 枫子_dan 阅读(8536) 评论(2) 推荐(0)

枫子

Try Again

随笔分类 - 大数据组件监控

公告