摘要:在hadoop技术体系MapReduce中,Shuffle是比较重要的一个环节。对理解好Shuffle对往后的MapReduce调优将起到非常大的作用。 以下是我个人对MapReduce Shuffle的一些理解。 map task--数据格式化程序会根据InputFormat将输入文件分割成spl 阅读全文
posted @ 2018-08-27 09:52 ENOTS 阅读(141) 评论(0) 推荐(0) 编辑
摘要:由于工作当中,需要配置双数据源进行数据同步,以目录进行区别主副库的编写。这里记录一下,方便大家。 1、pom配置 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>${druid.v 阅读全文
posted @ 2019-07-01 10:06 ENOTS 阅读(2234) 评论(0) 推荐(0) 编辑
摘要:在Storm中, 开发者可以为上游spout/bolt发射出的tuples指定下游bolt的哪个/哪些task(s)来处理该tuples。这种指定在storm中叫做对stream的分组,即stream grouping,分组方式主要有以下6种 Shuffle Grouping 或 None Grou 阅读全文
posted @ 2018-10-14 15:38 ENOTS 阅读(174) 评论(0) 推荐(0) 编辑
摘要:鉴于身边朋友都有入户的需求,写了一下自己当时入户的大概流程,希望能对入户有需求的朋友提供一定的帮助。 背景:全日制大专学历人才引进入户广州( 全日制本科学历等同,只是要做学位鉴定。)。社保一年。 考证:软考高级证书(架构师、信息项目管理师、分析师)。 内容步骤: 1、首先要有计划考高级证书(3科,选 阅读全文
posted @ 2018-08-27 11:34 ENOTS 阅读(381) 评论(0) 推荐(0) 编辑
摘要:在hadoop技术体系MapReduce中,Shuffle是比较重要的一个环节。对理解好Shuffle对往后的MapReduce调优将起到非常大的作用。 以下是我个人对MapReduce Shuffle的一些理解。 map task--数据格式化程序会根据InputFormat将输入文件分割成spl 阅读全文
posted @ 2018-08-27 09:52 ENOTS 阅读(141) 评论(0) 推荐(0) 编辑
摘要:开通博客园,打算写写自己的点滴。包括生活的,技术上的,自己的一些所见所解,或者不一定是正确的,但如能抛砖引玉就是我想要的了。写在这里也是为了分享。 阅读全文
posted @ 2018-08-27 09:18 ENOTS 阅读(55) 评论(0) 推荐(0) 编辑