08 2016 档案

HADOOP HA切换后出现ＭＳＳＩＮＧ　ＢＬＯＣＫ
摘要：HDFS HA切换后missing block问题分析 今天因为调整一个ＮＮ的参数，所以切换一个ＡＣＴＩＶＥ的ＮＮ，发生了ＭＩＳＳＩＮＧ　ＢＬＯＣＫ。 怀疑可能是ＥＤＩＴＬＯＧ没有同步完成，可能是误报。 找到这http://blog.csdn.net/u011291159/article/detai 阅读全文

posted @ 2016-08-29 15:09 tneduts 阅读(315) 评论(0) 推荐(0)

高效常用的ＳＨＥＬＬ
摘要：１.大写转为小写echo "ALLUXIO_WORKER_MEMORY_SIZE" | tr -s '[:upper:]' '[:lower:]'2.case的时候可以使用正则#enable the regexp case matchshopt -s extglob 3;删除空行　替换掉注释掉的行 阅读全文

posted @ 2016-08-24 07:00 tneduts 阅读(216) 评论(2) 推荐(0)

java md5
摘要：需求是，上传文件到ＨＤＦＳ，然后生成同名的ＭＤ５文件，基本示例如下： 报数据的格式不正确，提示错误不是校验失败。 阅读全文

posted @ 2016-08-20 09:27 tneduts 阅读(386) 评论(0) 推荐(0)

hadoop.home.dir is not set
摘要：今天遇到一个错误，ＪＡＶＡ堆栈如下： 是在获取文件系统对象的时候出错，没有找到环境变量 HADOOP_HOME or hadoop.home.dir ，但是在本地一直没有重现这个问题。 这个问题是一个小ＢＵＧ，在调用ＳＨＥＬＬ的时候一个静态初始化造成的，这个ＪＡＲ包是运行在客户端去ＨＤＦＳ拉取数据， 阅读全文

posted @ 2016-08-18 09:48 tneduts 阅读(2670) 评论(0) 推荐(0)

/var/log/messages文件监控
摘要：近来项目中遇到一个问题,情况是这样的,我们使用ELK中的LOGSTASH来监控LINUX的系统日志文件:/var/log/messages文件,但这个文件默认的权限是600,这样很为难, 我们使用特定的日志收集用户启动LOGSTASH进程,这样对于没有权限的文件就无法监控了. 以下记录我寻找答案的经 阅读全文

posted @ 2016-08-15 22:04 tneduts 阅读(3497) 评论(0) 推荐(0)

TAR,JAR,Zip的使用
摘要：在文件归档的时候,LINUX中,我常喜欢使用tar,它可以把一个文件夹归档为一个文件,可以同时使用指定的压缩算法把其压缩归档. 最常用的语句是: tar cvzf target.tar.gz source 注意这里的Z就是GZ压缩算法,解压的时候: tar xvzf target.tar.gz 即可 阅读全文

posted @ 2016-08-13 08:14 tneduts 阅读(386) 评论(0) 推荐(0)

导航