文章分类 - Hadoop
摘要：关闭集群的命令 stop-all.sh 1.先启动zookeeper集群 在zookeeper安装目录的bin目录下执行，sh zkServer.sh start 出现leader和follower时候说明启动成功 如果是第一次启动Hadoop集群，需要先将hdfs注册到zookeeper集群中，不
阅读全文
摘要：参考 https://blog.csdn.net/shenshengsu1990/article/details/94625194 结合下图来讲解 ...... JobTracker接收到任务之后，会去访问NameNode获取要处理的文件信息 NameNode将文件块的一些信息返回给JobTrack
阅读全文
摘要：参考 https://blog.csdn.net/u014313009/article/details/38072269 首先开始的是 shuffle-map阶段的流程 依据上图讲解 1、Partition操作 map的输出结果是多个键值对（key和value），将由reduce合并，而集群中有多个
阅读全文
摘要：参考 https://blog.csdn.net/qq_25948717/article/details/80554809 根据下图讲解 首先说两个概念：调度器和应用程序管理器 Hadoop2.x中使用的调度器是Scheduler，它的职能仅仅是根据各个应用程序的资源需求进行资源分配，如下图 再下来
阅读全文
摘要：此过程没有在服务器搭建的具体步骤，仅有思路 zookeeper集群管控 Hadoop2.0之后，达到了元数据（用于存储NameNode寻找DataNode的信息）的实时备份，所有有两台NameNode（standby、active）。不管你Hadoop集群有多少节点，NameNode只有两个 两个N
阅读全文
摘要：如上图，如果我HDFS中，word目录下有这四个文件，那么它能分为几个切片呢？？？ **** MapTask的数量=切片数量 切块也分为两种 一种是物理切块，一种是逻辑切块 前者是将文件真正的变成文件块 后者是用对象来封装每个文件块的信息，比如文件夹的起始位置、和长度。这样的来分切块的作用，假如我一
阅读全文
摘要：作用就是，合并...... 看下图 combine把map方法产生的多个key和value。合并到一个新的key和value，在传入到reducer中 合并的目的是为了减少网络传输
阅读全文
摘要：参考 https://www.cnblogs.com/edisonchou/p/4297828.html Hadoop中分区，如果不指定的话，他会使用自带的HashPartitioner 如果你业务中有需求，需要使用分区来查看文件的时候，就需要自己定义分区来使用 例如上图，需要统计手机号码的信息，就
阅读全文
摘要：参考 https://www.cnblogs.com/dtj007/p/5485629.html 因为我们大家知道，分别有两种设置 一种设置Mapper 一种是Reducer 如果一样的话，我们只需要记得，只设置Reducer的返回执行结果即可 如果不一样的话，都需要设置的 给张图片..... 如果
阅读全文
摘要：第一步看linux主机中看看配置主机名文件对不对？ 如果对就配置本地电脑的 hosts映射文件.... 再试一下就可以了
阅读全文
摘要：这个忘记 要输好多次密码的 。。 第一步 不用输入密码的 ！！！！！！！！！ 一定要三台机器 都验证一样，分别使用 ssh 主机名 验证 包括自己的主机
阅读全文
浙公网安备 33010602011771号