回眸,境界 - 博客园

摘要：前言作为一名职业程序员，如果去除待遇，薪资等等的因素考虑，从纯技术的角度出发，如何才能达到一个比较高的境界呢，答案是与最顶尖的那一批人交流合作，当然，最顶尖的那批人很多几乎估计都不在身边，而且大多在国外。那么难道... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(73) 评论(0) 推荐(0)

摘要：前言Hadoop作为一个大型的分布式系统,当他的规模不断的扩大,扩增到一定程度的时候,所使用的业务方自热而然的也会变多,不同的业务方会提交各种各样类型的任务,有人提交hive的查询任务,有人会写MapReduce... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(180) 评论(0) 推荐(0)

摘要：前言继续延续上一篇文章的主题,2个字,监控,分布式系统要想做到足够大,足够强,足够稳定,首先需要做好的就是其中的监控.现在开源的分布式系统很多,YARN就是其中一种,比较值得庆幸的一点是,Yarn已经在Gangl... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(111) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(93) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(388) 评论(0) 推荐(0)

摘要：前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多,发... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(119) 评论(0) 推荐(0)

摘要：前言我们都知道,在大数据领域,Hive的出现帮我降低了许多使用Hadoop书写方式的学习成本.使用用户可以使用类似Sql的语法规则写明查询语句,从hive表数据中查询目标数据.最为重要的是这些sql语句会最终转化... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(124) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(183) 评论(0) 推荐(0)

posted @ 2020-01-12 19:09 回眸,境界阅读(103) 评论(0) 推荐(0)

摘要：前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.但是Shffle的整个过程在map red... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(127) 评论(0) 推荐(0)

Tippy