回眸,境界 - 博客园

摘要：前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.但是Shffle的整个过程在map red... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(148) 评论(0) 推荐(0)

摘要：前言上篇文章讲述了如何从HDFS上拿到JobHistory的Job信息数据,当然如果能对这些数据进行二次分析的话,将会得到更加精准的分析结果.但是尽管说数据是有了,但毕竟是Hadoop系统内部记录的数据,如果我想... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(102) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(104) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(68) 评论(0) 推荐(0)

摘要：前言继续延续上一篇文章的主题,2个字,监控,分布式系统要想做到足够大,足够强,足够稳定,首先需要做好的就是其中的监控.现在开源的分布式系统很多,YARN就是其中一种,比较值得庆幸的一点是,Yarn已经在Gangl... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(112) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(94) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(398) 评论(0) 推荐(0)

摘要：前言任何分布式系统在不断演变的过程中,必然都会经过有小变到大的过程,中间也必定会由不稳定到逐步稳定的过程.在所有的这些系统能够稳定运行的一个前提是,完整的监控和报警系统.这个模块是系统保持稳定最最基础的模块服务.... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(90) 评论(0) 推荐(0)

摘要：前言做过hadoop集群问题排查工作的同学一定用过JobHistory,这是一个很好用的"利器",为什么这么说呢?正如这个工具的名称所叫的那样,这个工具能帮你找到历史Job跑过的信息,而信息的记录非常的详细,从J... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(157) 评论(0) 推荐(0)

摘要：前言在hadoop的FsShell命令中,估计很多人比较常用的就是hadoop fs -ls,-lsr,-cat等等这样的与Linux系统中几乎一致的文件系统相关的命令.但是仔细想想,这里还是有一些些的不同的.首... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(215) 评论(0) 推荐(0)

Tippy