9.1.Hadoop - 随笔分类 - QueryMarsBo

Hadoop_33_Hadoop HA的搭建

摘要：Hadoop HA的搭建，可参考链接：https://blog.csdn.net/mrbcy/article/details/64939623 说明： 1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外阅读全文

posted @ 2018-07-05 14:46 QueryMarsBo 阅读(144) 评论(0) 推荐(0)

Hadoop_32_HDFS高可用机制

摘要：1.高可靠概念 HA(High Available)：高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点 2.Hadoop的HA运作机制：：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制，：Hadoop-HA集群运作机制介绍阅读全文

posted @ 2018-07-05 10:15 QueryMarsBo 阅读(217) 评论(0) 推荐(0)

Hadoop_31_MapReduce参数优化

摘要：1.资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Task 阅读全文

posted @ 2018-07-05 08:22 QueryMarsBo 阅读(312) 评论(0) 推荐(0)

Hadoop_30_MapReduce_多job串联

摘要：一个稍复杂点的处理逻辑往往需要多个mapreduce程序串联处理，多job的串联可以借助mapreduce框架的JobControl实现示例代码：每个job装配完成才可以进行下面代码：阅读全文

posted @ 2018-07-05 08:15 QueryMarsBo 阅读(175) 评论(0) 推荐(0)

Hadoop_29_MapReduce_计数器应用

摘要：在实际生产代码中，常常需要将数据处理过程中遇到的不合规数据行进行全局计数，类似这种需求可以借助mapreduce框架中提供的全局计数器来实现示例代码如下：阅读全文

posted @ 2018-07-05 08:13 QueryMarsBo 阅读(183) 评论(0) 推荐(0)

Hadoop_28_MapReduce_自定义 inputFormat

摘要：1. 自定义inputFormat 1.1.需求: 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件，此时就需要有相应解决方案; 1.2.分析: 小文件的优化无非以下几种方式： 1、在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS； 2、在业务阅读全文

posted @ 2018-07-03 17:22 QueryMarsBo 阅读(166) 评论(0) 推荐(0)

Hadoop_27_MapReduce_运营商原始日志增强(自定义OutputFormat)

摘要：1.需求: 现有一些原始日志需要做增强解析处理，流程： 1、从原始日志文件中读取数据(日志文件：https://pan.baidu.com/s/12hbDvP7jMu9yE-oLZXvM_g) 2、根据日志中的一个URL字段到外部知识库中获取信息增强到原始日志 3、如果成功增强，则输出到增强结阅读全文

posted @ 2018-07-03 13:14 QueryMarsBo 阅读(436) 评论(0) 推荐(1)

Hadoop_26_MapReduce_Reduce端使用GroupingComparator求同一订单中最大金额的订单

摘要：1. 自定义GroupingComparator 1.1.需求：有如下订单现在需要求出每一个订单中成交金额最大的一笔交易 1.2.分析： 1、利用“订单id和成交金额”Bean作为key，可以将map阶段读取到的所有订单数据按照id分区，按照金额排序，发送到reduce 2、在reduce端利用阅读全文

posted @ 2018-07-02 16:57 QueryMarsBo 阅读(534) 评论(0) 推荐(0)

Hadoop_25_MapReduce实现日志清洗程序

摘要：1、需求：对web访问日志中的各字段识别切分，去除日志中不合法的记录，根据KPI统计需求，生成各类访问请求过滤数据 2、实现代码： a) 定义一个bean，用来记录日志数据中的各数据字段 package cn.bigdta.hdfs.weblog; public class WebLogBean 阅读全文

posted @ 2018-07-02 13:57 QueryMarsBo 阅读(718) 评论(0) 推荐(0)

Hadoop_24_MapReduce实现QQ共同好友

摘要：1.社交粉丝数据分析：解题思路：如果想要得到两两之间的共同好友，若A和B的共同好友是C，通过反向思考，可以求出C是哪些人的共同好友，然后将这些共同好友两两组合；第一步代码实现：运行结果：第二步代码实现：具有共同好友的人两两作为key输出运行结果：阅读全文

posted @ 2018-07-02 11:34 QueryMarsBo 阅读(447) 评论(0) 推荐(0)

Hadoop_23_MapReduce倒排索引实现

摘要：1.1.倒排索引根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(invertedindex) 例如：单词——文档矩阵（将属性值放在前面作为索引） 1.2.MapReduce实现倒阅读全文

posted @ 2018-07-02 09:17 QueryMarsBo 阅读(340) 评论(0) 推荐(0)

Hadoop_22_MapReduce map端join实现方式解决数据倾斜（DistributedCache）

摘要：1.Map端Join解决数据倾斜 1.Mapreduce中会将map输出的kv对，按照相同key分组(调用getPartition)，然后分发给不同的reducetask 2.Map输出结果的时候调用了Partitioner组件(返回分区号)，由它决定将数据放到哪个区中，默认的分组规则为：根据ke 阅读全文

posted @ 2018-06-30 09:24 QueryMarsBo 阅读(1091) 评论(0) 推荐(0)

Hadoop_21_MapReduce程序实现Join功能

摘要：1.序列化与Writable接口 1.1.hadoop的序列化格式序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信阅读全文

posted @ 2018-06-29 09:01 QueryMarsBo 阅读(305) 评论(0) 推荐(0)

Hadoop_20_MapReduce程序的运行模式

摘要：1.MapReduce程序的运行模式 <!--[if gte mso 9]><xml><w:WordDocum 阅读全文

posted @ 2018-06-27 17:15 QueryMarsBo 阅读(179) 评论(0) 推荐(0)

Hadoop_19_MapReduce&&Yarn运行机制

摘要：1.YARN的运行机制 1.1.概述： Yarn集群：负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager Yarn是一个资源调度(作业调度和集群资源管理)平台，负责为运算程序提供服务器运算资源(包括运行程序的jar包，配置文件，CPU，内存，I 阅读全文

posted @ 2018-06-26 14:25 QueryMarsBo 阅读(199) 评论(0) 推荐(0)

Hadoop_18_MapRduce 内部的shuffle机制

摘要：1.Mapreduce的shuffle机制: Mapreduce中，map阶段处理的数据如何传递给Reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle 将maptask处理后的输出结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排阅读全文

posted @ 2018-06-25 09:43 QueryMarsBo 阅读(300) 评论(0) 推荐(0)

Hadoop_16_MapRduce_MapTask并行度（切片）的决定机制

摘要：MapTask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？Mapper数量由输入文件的数目、大小及配置参数决定； MapReduce将作业的整个运行过程分为两个阶段：Map阶段Reduce阶段。 Map阶阅读全文

posted @ 2018-06-21 11:54 QueryMarsBo 阅读(721) 评论(0) 推荐(0)

Hadoop_17_MapRduce_案例2_实现用户手机流量统计（ReduceTask并行度控制）

摘要：需求：1.统计每一个用户（手机号）所耗费的总上行流量、下行流量，总流量 1.数据如下：保存为.dat文件(因为以\t切分数据，文件格式必须合适) 2.技术实现过程： 1.首先将Map输入中的手机号，上行流量，下行流量数据抽取出来(每一行输入数据调用一次自定义map方法处理数据)，然后根据相同的ke 阅读全文

posted @ 2018-06-20 17:28 QueryMarsBo 阅读(1193) 评论(0) 推荐(1)

Hadoop_15_MapRduce_案例1_Wordcount 单词统计

摘要：1.Wordcount示例编写: MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总” 需求：在一堆给定的文本文件中统计输出每一个单词出阅读全文

posted @ 2018-06-20 14:15 QueryMarsBo 阅读(428) 评论(0) 推荐(0)

Hadoop_14_MapReduce框架结构及其运行流程

摘要：1.MapReduce原理篇 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上 2.MapReduce程序结阅读全文

posted @ 2018-06-20 07:59 QueryMarsBo 阅读(188) 评论(0) 推荐(0)

QueryMarsBo

随笔分类 - 9.1.Hadoop

公告