ganglia监控hadoop集群

使用ganglia监控hadoop比较简单

修改hadoop的配置文件为:conf/hadoop-metrics2.properties。

依据安装的Ganglia版本找到配置文件中对应版本控制,将需要监控的项目前面注释去掉,*.servers的配置为 239.2.11.71:8649,这个地址是Ganglia的广播地址,是固定的。

ganglia为3.1

# for Ganglia 3.1 support
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10

# default for supportsparse is false
*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

namenode.sink.ganglia.servers=239.2.11.71:8649

datanode.sink.ganglia.servers=239.2.11.71:8649

jobtracker.sink.ganglia.servers=239.2.11.71:8649

tasktracker.sink.ganglia.servers=239.2.11.71:8649

maptask.sink.ganglia.servers=239.2.11.71:8649

reducetask.sink.ganglia.servers=239.2.11.71:8649

记得要将集群中配置文件全部替换,重启集群即可

另外,ganglia也会产生一定的性能消耗,建议安装在副的namenode上

更详细内容:http://blog.chinaunix.net/uid-451-id-3152035.html

对原作者表示感谢

posted on 2013-07-25 11:48  AI001  阅读(261)  评论(0编辑  收藏  举报

导航