MapReduce - 文章分类(第3页) - MissRong

MapReduce-MapReduce工作流程*

摘要：MapReduce-MapReduce工作流程* 1）流程示意图 2）流程详解上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第13步结束，具体shuffle过程详解，如下： 1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中 2）从内阅读全文

posted @ 2020-04-23 16:16 MissRong 阅读(245) 评论(0) 推荐(0) |

MapReduce-Hadoop序列化

摘要：Hadoop序列化一、为什么要序列化？一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。二、什么是序列化？序列化就是把内存中的对象，转换成字节阅读全文

posted @ 2020-04-23 15:17 MissRong 阅读(266) 评论(0) 推荐(0) |

MapReduce-初识

摘要：大数据技术之Hadoop（Map-Reduce切开-合并） Map-Reduce入门 1.MapReduce定义 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。 Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完阅读全文

posted @ 2020-04-23 10:48 MissRong 阅读(165) 评论(0) 推荐(0) |

MissRong

现时的明艳，源于曾经奋斗的泪泉和牺牲的血雨。

公告

文章分类 - MapReduce

MapReduce-MapReduce工作流程*

MapReduce-Hadoop序列化

MapReduce-初识

MissRong

现时的明艳， 源于曾经奋斗的泪泉和牺牲的血雨。

公告

文章分类 - MapReduce

MapReduce-MapReduce工作流程*

MapReduce-Hadoop序列化

MapReduce-初识

现时的明艳，源于曾经奋斗的泪泉和牺牲的血雨。