回眸,境界 - 博客园

摘要：前言做过hadoop集群问题排查工作的同学一定用过JobHistory,这是一个很好用的"利器",为什么这么说呢?正如这个工具的名称所叫的那样,这个工具能帮你找到历史Job跑过的信息,而信息的记录非常的详细,从J... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(214) 评论(0) 推荐(0)

摘要：前言最近在工作中解决了一个慢磁盘的问题,个人感觉整个发现-分析-解决的过程还是非常有意思并且很有意义的.而且磁盘监控在目前的Hadoop中还是没有做的很全的,大多数都是对Datanode,可以说这是1个盲区.其实... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(206) 评论(0) 推荐(0)

摘要：前言在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(79) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(72) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(93) 评论(0) 推荐(0)

摘要：前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多,发... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(171) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(195) 评论(0) 推荐(0)

摘要：前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(132) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(164) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(157) 评论(0) 推荐(0)

Tippy