摘要：
Hadoop基础之MapReduce中Shuffle Hadoop基础之MapReduce中Shuffle shuffle maptask：map端可以执行的一个进程 reducetask：reduce端可以执行的一个进程 shuffle是介于maptask和reducetask之间的一个过程 sh 阅读全文
posted @ 2020-11-13 15:02
珍珠奶茶不加糖
阅读(285)
评论(0)
推荐(0)
摘要：
Hadoop基础之MapReduce词频分析 Hadoop基础之MapReduce词频分析 需求 把需要的数据分离出来 确定key和value 确定泛型 代码 App类 package mapReduce.phoneTraffic.testOne.app; import mapReduce.comm 阅读全文
posted @ 2020-11-13 14:54
珍珠奶茶不加糖
阅读(190)
评论(0)
推荐(0)
摘要：
Hadoop基础之MapReduce Hadoop基础之MapReduce MapReduce MapReduce是hadoop中的一个非常重要的组件，用来处理海量数据计算的组件 由来：谷歌论文"MapReduce" 从论文的角度分析：MapReduce是一种思想 从技术的角度分析：MapReduc 阅读全文
posted @ 2020-11-13 14:52
珍珠奶茶不加糖
阅读(141)
评论(0)
推荐(0)
摘要：
Hadoop基础之新节点的服役与旧节点的退役 Hadoop基础之新节点的服役与旧节点的退役 修改节点之停止服务修改 停止服务 配制ssh免密登录 修改同步脚本 修改hosts文件 修改slaves文件 格式化 重新启动服务 修改节点之热部署修改 服役新节点 创建一个新节点、修改IP、主机名 配制ss 阅读全文
posted @ 2020-11-13 14:50
珍珠奶茶不加糖
阅读(160)
评论(0)
推荐(0)
摘要：
Hadoop基础之机架感知 Hadoop基础之机架感知 什么是机架感知 机架：存放服务器的架子，也叫机柜。一般来说一个机房有很多机柜，每个机柜有很多服务器 感知策略 Hadoop1版本 客户端依据最近空闲原则选择一个节点，在不同机架上选择第二个节点，在第二个节点的同机架下选择第三个节点 Hadoop 阅读全文
posted @ 2020-11-13 14:49
珍珠奶茶不加糖
阅读(661)
评论(0)
推荐(0)
浙公网安备 33010602011771号