leeyuki

摘要： 查询了网上datanode的监控，都是比较复杂的，涉及底层源码，需要编写JAVA取获取状态的，我也不会。我的要求很简单，即jps查一下，如果可以看到datanode、nodemanger进程，则认为节点正常。#!/bin/bash#####################################################################################... 阅读全文

摘要： bzip2集群文件导出到接口机后，采用bzip2的方式进行压缩，但是时间特别长，由于公司的考核要求，不能接受这么长时间的压缩。查询研究后，发现了可以多线程压缩的工具pbzip2（bzip2是单线程）。何为单线程？即使用一个CPU（这里的一个CPU是指逻辑CPU个数，不是物理CPU个数）。pbzip2安装pbzip2的安装与使用也非常简单。1.下载最新源码：http://compression.ca... 阅读全文

摘要： 目前，我们正在建设基于Hadoop集群的统一数据中心，因为采集数据量大，容易遇到接口机存储不够的情况，所以写了个自动监控存储大小，不足则发出告警的脚本。代码如下：#!/bin/bash####################################################################### FileName : disk_capatiy_alarm.... 阅读全文